Deepminer

DeepMiner

深层的网络数据设计和搜索工具

在深层网络上爬行并搜索关键术语或域名的过程的自动化对于任何测试人员，研究人员或IT安全团队来说都是有价值的工具。该框架需要易于使用并能够连续运行。此外，结果将需要有意义且易于理解。

为了解决此问题，我已经开发了一个名为DeepMiner的深层网络爬行工具，该工具允许轻松搜索以帮助用户识别任何结果。 DeepMiner使用任何提取的HTML从知名的资源和搜索中提取洋葱地点。 DeepMiner可以无限期地运行，以确保数据库已更新。站点名称，目录，HTML和连接的站点被保存到SQLite数据库文件中，用户可以在其中分析结果。

执行

DeepMiner使用Python 3编写，并在Ubuntu 20.04中进行了测试。搜索是使用SQLite FTS5扩展程序进行全文和正则搜索的。为了易于搜索，用户可以将SQLite DB浏览器用于图形接口。

要求

git

Python 3

PIP3

Tor

屏幕

Pysocks

安装

在Ubuntu的全新安装中，20.04运行以下命令

1.  sudo apt install git
   

2.  sudo apt install python3-pip
   

3.  pip3 install pysocks
   

4.  sudo apt install tor
   

5.  sudo apt install screen
   

6.  git clone https://github.com/Conso1eCowb0y/Deepminer
   

7.  cd Deepminer
   

8.  sudo python3 deepminer.py
   

9. 要安装SQLite DB浏览器，请运行以下命令：

    sudo apt install sqlitebrowser
   

托多

• 多线程
• 基于Kivy的搜索GUI