Krawler

Krawler：Python中的一個多線程Web搜尋器

Python中簡單的Web爬網的實現。爬網是完全多線程的，可用於以給定的域名爬網。

安裝詩歌

要開始，您需要安裝詩歌。您可以通過在Shell中運行以下命令來安裝詩歌。

pip install poetry

安裝完成後，在此存儲庫的根文件夾中的shell中運行以下命令以安裝依賴項並為項目創建虛擬環境。

poetry install

之後，通過調用詩歌殼命令進入詩歌環境。

poetry shell

安裝系統依賴項

如果您使用的是基於Debian的系統，則可以通過運行以下命令來安裝系統範圍的依賴項。

sudo apt-get install python3-bs4 libnss-resolve nscd

運行爬行者

要運行軌道，您可以使用以下命令。

 pushd src && python3 main.py --domain < domain_name > --threads < number_of_threads > --output < output_file > && popd 

執照

該項目是根據MIT許可證獲得許可的 - 有關詳細信息，請參見許可證文件。