Krawler

Krawler: многопоточный веб -гусеницы в Python

Реализация простого веб -гусеницы в Python. Груплер полностью многопоточный и может использоваться для ползания Интернета для данного доменного имени.

Установка поэзии

Для начала вам нужно установить поэзию. Вы можете установить поэзию, выполнив следующую команду в оболочке.

pip install poetry

Когда установка закончена, запустите следующую команду в оболочке в корневой папке этого репозитория, чтобы установить зависимости и создать виртуальную среду для проекта.

poetry install

После этого введите поэтическую среду, вызывая команду поэтической оболочки.

poetry shell

Установка системных зависимостей

Если вы используете систему на основе Debian, вы можете установить общесистемные зависимости, выполнив следующую команду.

sudo apt-get install python3-bs4 libnss-resolve nscd

Управлять гусеницей

Чтобы запустить гусеница, вы можете использовать следующую команду.

 pushd src && python3 main.py --domain < domain_name > --threads < number_of_threads > --output < output_file > && popd 

Лицензия

Этот проект лицензирован по лицензии MIT - для получения подробной информации см. Файл лицензии.