Deepminer
1.0.0
Автоматизация процесса ползания через глубокую сеть и поиск ключевых терминов или доменных имен будет ценным инструментом для любого тестера, исследователя или команды ИТ -безопасности. Эта структура должна быть проста в использовании и способной постоянно запускать. Кроме того, результаты должны были бы понять, что для пользователя можно было бы понять.
Чтобы решить эту проблему, я разработал глубокий инструмент для ползания в Интернете под названием DeepMiner, который позволяет простую поиск, чтобы помочь пользователям определить любые результаты. Deepminer вытаскивает луковые сайты из известных ресурсов и поиска, используя любой извлеченный HTML. DeepMiner работает непрерывно и на неопределенный срок, чтобы убедиться, что база данных обновляется. Имена сайтов, каталоги, HTML и подключенные сайты сохраняются в файле базы данных SQLite, где пользователи могут проанализировать результаты.
Deepminer написан с использованием Python 3 и протестирован в Ubuntu 20.04. Поиск проводится с использованием расширения SQLite FTS5, как для полного текста, так и для поисков режима. Для простоты поиска пользователи могут использовать браузер SQLite DB для графического интерфейса.
git
Питон 3
PIP3
Тор
Экран
Пироки
При свежей установке Ubuntu 20.04 Запустите следующие команды
sudo apt install git
sudo apt install python3-pip
pip3 install pysocks
sudo apt install tor
sudo apt install screen
git clone https://github.com/Conso1eCowb0y/Deepminer
cd Deepminer
sudo python3 deepminer.py
Чтобы установить браузер SQLite DB, запустите следующую команду:
sudo apt install sqlitebrowser
