Deepminer
1.0.0
ディープウェブを駆け抜けて主要な用語またはドメイン名を検索するプロセスの自動化は、テスター、研究者、またはITセキュリティチームにとって貴重なツールになります。このフレームワークは、使いやすく、継続的に実行できる必要があります。さらに、結果は、ユーザーが理解しやすいことを意味して簡単にする必要があります。
この問題を解決するために、DeepMinerと呼ばれる深いWebクロールツールを開発しました。これにより、ユーザーが結果を特定できるように簡単に検索できます。 DeepMinerは、抽出されたHTMLを使用して、よく知られているリソースと検索からタマネギサイトを引き出します。 DeepMinerは、データベースが更新されるように継続的かつ無期限に実行します。サイト名、ディレクトリ、HTML、および接続されたサイトは、ユーザーが結果を分析できるSQLiteデータベースファイルに保存されます。
DeepMinerはPython 3を使用して書かれ、Ubuntu 20.04でテストされています。検索は、フルテキストと正規表現の両方の検索の両方に対して、SQLite FTS5拡張機能を使用して実施されます。検索を容易にするために、ユーザーはグラフィカルインターフェイスにSQLite DBブラウザを使用できます。
git
Python 3
PIP3
トル
画面
ピソックス
Ubuntu 20.04の新鮮なインストールで次のコマンドを実行します
sudo apt install git
sudo apt install python3-pip
pip3 install pysocks
sudo apt install tor
sudo apt install screen
git clone https://github.com/Conso1eCowb0y/Deepminer
cd Deepminer
sudo python3 deepminer.py
SQLite DBブラウザをインストールするには、次のコマンドを実行します。
sudo apt install sqlitebrowser
