Krawler

Krawler: un rastreador web multiproceso en Python

Una implementación de un simple rastreador web en Python. El rastreador está completamente multiproceso y se puede usar para rastrear la web para un nombre de dominio dado.

Instalación de poesía

Para comenzar, debe instalarse la poesía. Puede instalar poesía ejecutando el siguiente comando en el shell.

pip install poetry

Cuando termine la instalación, ejecute el siguiente comando en el shell en la carpeta raíz de este repositorio para instalar las dependencias y crear un entorno virtual para el proyecto.

poetry install

Después de eso, ingrese al entorno de poesía invocando el comando de shell de poesía.

poetry shell

Instalación de dependencias del sistema

Si está utilizando un sistema basado en Debian, puede instalar las dependencias de todo el sistema ejecutando el siguiente comando.

sudo apt-get install python3-bs4 libnss-resolve nscd

Ejecutando el rastreador

Para ejecutar el rastreador, puede usar el siguiente comando.

 pushd src && python3 main.py --domain < domain_name > --threads < number_of_threads > --output < output_file > && popd 

Licencia

Este proyecto tiene licencia bajo la licencia MIT; consulte el archivo de licencia para obtener más detalles.