Deepminer
1.0.0
Die Automatisierung des Krabbungsprozesses durch das Deep Web und die Suche nach Schlüsselbegriffen oder Domain -Namen wäre ein wertvolles Instrument für jeden Tester, Forscher oder IT -Sicherheitsteam. Dieses Framework müsste einfach zu bedienen sein und kontinuierlich ausgeführt werden. Darüber hinaus müssten die Ergebnisse für den Benutzer sinnvoll und leicht zu verstehen müssen.
Um dieses Problem zu lösen, habe ich ein Deep -Web -Crawling -Tool namens DeepMiner entwickelt, mit dem eine einfache Suche nach den Benutzern die Identifizierung von Ergebnissen ermöglicht. DeepMiner zieht Zwiebelstellen aus bekannten Ressourcen und Suchanfragen mit einem extrahierten HTML. DeepMiner läuft kontinuierlich und unbegrenzt, um sicherzustellen, dass die Datenbank aktualisiert wird. Standortnamen, Verzeichnisse, HTML und verbundene Websites werden in einer SQLite -Datenbankdatei gespeichert, in der Benutzer die Ergebnisse analysieren können.
DeepMiner wird mit Python 3 geschrieben und in Ubuntu 20.04 getestet. Die Suchanfragen werden mithilfe der SQLite FTS5 -Erweiterung sowohl für Volltext- als auch für Regex -Suchvorgänge durchgeführt. Zur einfachen Suche können Benutzer den SQLite DB -Browser für eine grafische Schnittstelle verwenden.
Git
Python 3
PIP3
Tor
Bildschirm
Pysocks
Führen Sie auf einer frischen Installation von Ubuntu 20.04 die folgenden Befehle aus
sudo apt install git
sudo apt install python3-pip
pip3 install pysocks
sudo apt install tor
sudo apt install screen
git clone https://github.com/Conso1eCowb0y/Deepminer
cd Deepminer
sudo python3 deepminer.py
Führen Sie den folgenden Befehl aus, um den SQLite -DB -Browser zu installieren:
sudo apt install sqlitebrowser
