Darkweb search engine

Nexvision搜索引擎

特征

• 爬行Darknet寻找新的隐藏服务
• 从许多明确的净资源中找到隐藏的服务
• 可选的全文Elasticsearch支持
• 标记 /r /darknet超级列表的克隆站点
• 在隐藏服务中找到SSH指纹
• 从隐藏服务中找到电子邮件地址
• 在隐藏服务中找到比特币地址
• 显示出传入 /发出洋葱域的链接
• 最新的活着/死亡的隐藏服务状态
• PortScanner
• 搜索“有趣”的URL路径，有用的404检测
• 自动语言检测
• 模糊克隆检测（需要弹性搜索，比超级列表克隆检测更先进）

成分

Elasticsearch

Elasticsearch群集由2个用于HA和负载平衡的Elasticsearch实例。废弃的页面数据存储和搜索。

基巴纳

它在端口5601上运行，可用于检查Elasticsearch中的数据

网络将军

域搜索引擎的Web界面。它在端口7000上运行

mysql

它存储域，页面URL，比特币地址等。

Tor代理

用于访问洋葱页。部署了10个代理容器，使用Haproxy来分发流量。

刮刀

它从MySQL DB，收获页面和新域中从洋葱域中获取域列表，并通过Tor Proxies从Elasticsearch和MySQL中存储域和页面数据。基于Python废纸框架。

安装

克隆项目并构建涉及Docker-Compose的Docker图像。

 docker-compose build
docker-compose up -d

构建并运行刮板。

 docker build --tag scraper_crawler ./

运行刮板。

 docker run -d --name darkweb-search-engine-onion-crawler --network=darkweb-search-engine_default scraper_crawler /opt/torscraper/scripts/start_onion_scrapy.sh

首次部署后，需要在Elasticsearch上初始化索引。

 docker exec darkweb-search-engine-onion-crawler /opt/torscraper/scripts/elasticsearch_migrate.sh

导入初始域名

 docker exec darkweb-search-engine-onion-crawler /opt/torscraper/scripts/push_list.sh /opt/torscraper/onions_list/onions.txt &