Deepminer

Deepminer

Alat data dan pencarian web yang mendalam

Otomatisasi proses merangkak melalui jaring yang dalam dan mencari istilah -istilah utama atau nama domain akan menjadi alat yang berharga bagi setiap penguji, peneliti, atau tim keamanan TI. Kerangka kerja ini harus mudah digunakan dan dapat berjalan terus menerus. Selain itu, hasilnya perlu bermakna dan mudah untuk dipahami oleh pengguna.

Untuk menyelesaikan masalah ini, saya telah mengembangkan alat merangkak web yang dalam yang disebut DeepMiner, yang memungkinkan pencarian mudah untuk membantu pengguna mengidentifikasi hasil apa pun. DeepMiner menarik situs Onion dari sumber daya terkenal dan pencarian menggunakan HTML yang diekstraksi. DeepMiner berjalan terus menerus dan tanpa batas waktu untuk memastikan bahwa database diperbarui. Nama situs, direktori, HTML, dan situs yang terhubung disimpan ke file database SQLite di mana pengguna dapat menganalisis hasilnya.

Pelaksanaan

DeepMiner ditulis menggunakan Python 3 dan diuji di Ubuntu 20.04. Pencarian dilakukan dengan menggunakan ekstensi SQLite FTS5, untuk pencarian teks lengkap dan Regex. Untuk kemudahan pencarian, pengguna dapat menggunakan browser SQLite DB untuk antarmuka grafis.

Persyaratan

git

Python 3

Pip3

Tor

Layar

Pysocks

Instalasi

Pada instalasi baru Ubuntu 20.04 jalankan perintah berikut

1.  sudo apt install git
   

2.  sudo apt install python3-pip
   

3.  pip3 install pysocks
   

4.  sudo apt install tor
   

5.  sudo apt install screen
   

6.  git clone https://github.com/Conso1eCowb0y/Deepminer
   

7.  cd Deepminer
   

8.  sudo python3 deepminer.py
   

9. Untuk menginstal browser SQLite DB, jalankan perintah berikut:

    sudo apt install sqlitebrowser
   

Todo

• Multi-threading
• GUI pencarian berbasis Kivy