Darkweb search engine

Motor de búsqueda de NexVision

Características

• Rastrea el Darknet en busca de un nuevo servicio oculto
• Encuentre servicios ocultos de varias fuentes netas claras
• Soporte opcional de ElasticSearch Elasticsearch
• Marca los sitios clonados de la lista /r /Darknet Super
• Encuentra huellas digitales de SSH en los servicios ocultos
• Encuentra direcciones de correo electrónico en todos los servicios ocultos
• Encuentra direcciones de bitcoin en los servicios ocultos
• Muestra enlaces entrantes / salientes a los dominios de cebolla
• Estado de servicio oculto vivo/oculto
• Puerto
• Busque rutas de URL "interesantes", detección útil 404
• Detección de lenguaje automático
• Detección de clonos difusos (requiere Elasticsearch, más avanzado que la detección de clones de Super List)

Componentes

Elasticsearch

Elasticsearch Cluster consta de 2 instancia de Elasticsearch para HA y equilibrio de carga. Los datos de la página desechados se almacenan y buscan.

Kibana

Se ejecuta en el puerto 5601 y se puede usar para verificar los datos en Elasticsearch

General de la Web

La interfaz web para el motor de búsqueda de dominio. Se ejecuta en el puerto 7000

Mysql

Almacena los dominios, las URL de página, las direcciones de bitcoin, etc.

Tor proxy

Se utiliza para acceder a las páginas de cebolla. Hay 10 contenedores proxy implementados y se usa haproxy para distribuir el tráfico.

Raspador

Obtiene la lista de dominio de MySQL DB, páginas de cosecha y nuevos dominios de los dominios de cebolla a través de los proxies TOR y almacena los dominios y datos de página en Elasticsearch y MySQL. Basado en el marco Python Scrapy.

Instalación

Clone el proyecto y construya imágenes Docker involucradas en Docker-Compose.

 docker-compose build
docker-compose up -d

Construya y ejecuta el raspador.

 docker build --tag scraper_crawler ./

Ejecute el raspador.

 docker run -d --name darkweb-search-engine-onion-crawler --network=darkweb-search-engine_default scraper_crawler /opt/torscraper/scripts/start_onion_scrapy.sh

Después de la primera implementación, debe inicializar los índices en Elasticsearch.

 docker exec darkweb-search-engine-onion-crawler /opt/torscraper/scripts/elasticsearch_migrate.sh

Importar lista de dominio inicial

 docker exec darkweb-search-engine-onion-crawler /opt/torscraper/scripts/push_list.sh /opt/torscraper/onions_list/onions.txt &