Krawler

Krawler：Python中的一个多线程Web搜寻器

Python中简单的Web爬网的实现。爬网是完全多线程的，可用于以给定的域名爬网。

安装诗歌

要开始，您需要安装诗歌。您可以通过在Shell中运行以下命令来安装诗歌。

pip install poetry

安装完成后，在此存储库的根文件夹中的shell中运行以下命令以安装依赖项并为项目创建虚拟环境。

poetry install

之后，通过调用诗歌壳命令进入诗歌环境。

poetry shell

安装系统依赖项

如果您使用的是基于Debian的系统，则可以通过运行以下命令来安装系统范围的依赖项。

sudo apt-get install python3-bs4 libnss-resolve nscd

运行爬行者

要运行轨道，您可以使用以下命令。

 pushd src && python3 main.py --domain < domain_name > --threads < number_of_threads > --output < output_file > && popd 

执照

该项目是根据MIT许可证获得许可的 - 有关详细信息，请参见许可证文件。