Krawler

Krawler: um rastreador web multithread em Python

Uma implementação de um simples rastreador na web em Python. O rastreador é totalmente multithread e pode ser usado para rastejar a web para um determinado nome de domínio.

Instalando a poesia

Para começar, você precisa instalar a poesia. Você pode instalar a poesia executando o seguinte comando no shell.

pip install poetry

Quando a instalação for concluída, execute o comando a seguir no shell na pasta raiz deste repositório para instalar as dependências e criar um ambiente virtual para o projeto.

poetry install

Depois disso, insira o ambiente de poesia invocando o comando de shell de poesia.

poetry shell

Instalando dependências do sistema

Se você estiver usando um sistema baseado em Debian, poderá instalar as dependências em todo o sistema executando o seguinte comando.

sudo apt-get install python3-bs4 libnss-resolve nscd

Correndo o rastreador

Para executar o rastreador, você pode usar o seguinte comando.

 pushd src && python3 main.py --domain < domain_name > --threads < number_of_threads > --output < output_file > && popd 

Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.