Deepminer

DeepMiner

深層的網絡數據設計和搜索工具

在深層網絡上爬行並蒐索關鍵術語或域名的過程的自動化對於任何測試人員，研究人員或IT安全團隊來說都是有價值的工具。該框架需要易於使用並能夠連續運行。此外，結果將需要有意義且易於理解。

為了解決此問題，我已經開發了一個名為DeepMiner的深層網絡爬行工具，該工具允許輕鬆搜索以幫助用戶識別任何結果。 DeepMiner使用任何提取的HTML從知名的資源和搜索中提取洋蔥地點。 DeepMiner可以無限期地運行，以確保數據庫已更新。站點名稱，目錄，HTML和連接的站點被保存到SQLite數據庫文件中，用戶可以在其中分析結果。

執行

DeepMiner使用Python 3編寫，並在Ubuntu 20.04中進行了測試。搜索是使用SQLite FTS5擴展程序進行全文和正則搜索的。為了易於搜索，用戶可以將SQLite DB瀏覽器用於圖形接口。

要求

git

Python 3

PIP3

Tor

螢幕

Pysocks

安裝

在Ubuntu的全新安裝中，20.04運行以下命令

1.  sudo apt install git
   

2.  sudo apt install python3-pip
   

3.  pip3 install pysocks
   

4.  sudo apt install tor
   

5.  sudo apt install screen
   

6.  git clone https://github.com/Conso1eCowb0y/Deepminer
   

7.  cd Deepminer
   

8.  sudo python3 deepminer.py
   

9. 要安裝SQLite DB瀏覽器，請運行以下命令：

    sudo apt install sqlitebrowser
   

托多

• 多線程
• 基於Kivy的搜索GUI