Deepminer

Intermediario

Una herramienta de búsqueda y data de datos web profundo

La automatización del proceso de rastreo a través de la web profunda y la búsqueda de términos clave o nombres de dominio sería una herramienta valiosa para cualquier probador, investigador o equipo de seguridad de TI. Este marco debería ser simple de usar y poder ejecutar continuamente. Además, los resultados necesitarían que el usuario sea significativo y fácil de entender.

Para resolver este problema, he desarrollado una herramienta de rastreo web profundo llamada DeepMiner, que permite una búsqueda fácil para ayudar a los usuarios a identificar cualquier resultado. DeepMiner extrae sitios de cebolla de recursos y búsquedas bien conocidas utilizando cualquier HTML extraído. DeepMiner se ejecuta continuamente e indefinidamente para garantizar que la base de datos se actualice. Los nombres de sitios, directorios, HTML y sitios conectados se guardan en un archivo de base de datos SQLite donde los usuarios pueden analizar los resultados.

Implementación

DeepMiner se escribe con Python 3 y se prueba en Ubuntu 20.04. Las búsquedas se realizan utilizando la extensión SQLITE FTS5, tanto para las búsquedas de texto completo como de regex. Para facilitar la búsqueda, los usuarios pueden usar el navegador SQLite DB para una interfaz gráfica.

Requisitos

git

Python 3

Pip3

Colina

Pantalla

Pysocks

Instalación

En una nueva instalación de Ubuntu 20.04 Ejecute los siguientes comandos

1.  sudo apt install git
   

2.  sudo apt install python3-pip
   

3.  pip3 install pysocks
   

4.  sudo apt install tor
   

5.  sudo apt install screen
   

6.  git clone https://github.com/Conso1eCowb0y/Deepminer
   

7.  cd Deepminer
   

8.  sudo python3 deepminer.py
   

9. Para instalar el navegador SQLite DB, ejecute el siguiente comando:

    sudo apt install sqlitebrowser
   

HACER

• Múltiple
• GUI de búsqueda basada en Kivy