Darkweb search engine

Nexvision搜索引擎

特徵

• 爬行Darknet尋找新的隱藏服務
• 從許多明確的淨資源中找到隱藏的服務
• 可選的全文Elasticsearch支持
• 標記 /r /darknet超級列表的克隆站點
• 在隱藏服務中找到SSH指紋
• 從隱藏服務中找到電子郵件地址
• 在隱藏服務中找到比特幣地址
• 顯示出傳入 /發出洋蔥域的鏈接
• 最新的活著/死亡的隱藏服務狀態
• PortScanner
• 搜索“有趣”的URL路徑，有用的404檢測
• 自動語言檢測
• 模糊克隆檢測（需要彈性搜索，比超級列表克隆檢測更先進）

成分

Elasticsearch

Elasticsearch群集由2個用於HA和負載平衡的Elasticsearch實例。廢棄的頁面數據存儲和搜索。

基巴納

它在端口5601上運行，可用於檢查Elasticsearch中的數據

網絡將軍

域搜索引擎的Web界面。它在端口7000上運行

mysql

它存儲域，頁面URL，比特幣地址等。

Tor代理

用於訪問洋蔥頁。部署了10個代理容器，使用Haproxy來分發流量。

刮刀

它從MySQL DB，收穫頁面和新域中從洋蔥域中獲取域列表，並通過Tor Proxies從Elasticsearch和MySQL中存儲域和頁面數據。基於Python廢紙框架。

安裝

克隆項目並構建涉及Docker-Compose的Docker圖像。

 docker-compose build
docker-compose up -d

構建並運行刮板。

 docker build --tag scraper_crawler ./

運行刮板。

 docker run -d --name darkweb-search-engine-onion-crawler --network=darkweb-search-engine_default scraper_crawler /opt/torscraper/scripts/start_onion_scrapy.sh

首次部署後，需要在Elasticsearch上初始化索引。

 docker exec darkweb-search-engine-onion-crawler /opt/torscraper/scripts/elasticsearch_migrate.sh

導入初始域名

 docker exec darkweb-search-engine-onion-crawler /opt/torscraper/scripts/push_list.sh /opt/torscraper/onions_list/onions.txt &