Darkweb search engine

NexVision Search Engine

特徴

• 新しい隠されたサービスを探しているダークネットをクロールします
• 多くの明確なネットソースから隠されたサービスを見つける
• オプションのフルテキストElasticSearchサポート
• /r /darknetスーパーリストのクローンサイトをマークします
• 隠されたサービス全体でSSHフィンガープリントを見つけます
• 非表示のサービス全体でメールアドレスを見つけます
• 隠されたサービス全体でビットコインアドレスを見つけます
• オニオンドメインへの着信 /発信リンクを表示します
• 最新の生きている/死んだ隠されたサービスステータス
• ポートスキャナー
• 「興味深い」URLパス、有用な404検出を検索します
• 自動言語検出
• ファジークローン検出（ElasticSearch、スーパーリストクローン検出よりも高度な必要があります）

コンポーネント

ElasticSearch

ElasticSearchクラスターは、HAとロードバランシング用の2つのElasticSearchインスタンスで構成されています。廃棄されたページデータは保存されて検索されます。

キバナ

ポート5601で実行され、ElasticSearchのデータを確認するために使用できます

ウェブジェネラル

ドメイン検索エンジンのWebインターフェイス。ポート7000で実行されます

mysql

ドメイン、ページURL、ビットコインアドレスなどを保存します。

Tor Proxy

オニオンページにアクセスするために使用されます。 10個のプロキシコンテナが展開されており、ハプロキシを使用してトラフィックを配布します。

スクレーパー

MySQL DB、Harvest Pages、およびOnionドメインからの新しいドメインからドメインリストを取得します。 Python Scrapyフレームワークに基づいています。

インストール

プロジェクトをクローンし、Docker-Composeに関与するDocker画像を構築します。

 docker-compose build
docker-compose up -d

スクレーパーを構築して実行します。

 docker build --tag scraper_crawler ./

スクレーパーを実行します。

 docker run -d --name darkweb-search-engine-onion-crawler --network=darkweb-search-engine_default scraper_crawler /opt/torscraper/scripts/start_onion_scrapy.sh

最初に展開した後、ElasticSearchのインデックスを初期化する必要があります。

 docker exec darkweb-search-engine-onion-crawler /opt/torscraper/scripts/elasticsearch_migrate.sh

初期ドメインリストをインポートします

 docker exec darkweb-search-engine-onion-crawler /opt/torscraper/scripts/push_list.sh /opt/torscraper/onions_list/onions.txt &