Deepminer

ผู้ตัดลึก

เครื่องมือ datamining และค้นหาเว็บลึก

ระบบอัตโนมัติของกระบวนการรวบรวมข้อมูลผ่านเว็บลึกและค้นหาคำสำคัญหรือชื่อโดเมนจะเป็นเครื่องมือที่มีค่าสำหรับผู้ทดสอบนักวิจัยหรือทีมรักษาความปลอดภัยด้านไอที เฟรมเวิร์กนี้จะต้องใช้งานง่ายและสามารถทำงานได้อย่างต่อเนื่อง นอกจากนี้ผลลัพธ์จะต้องมีความหมายและง่ายสำหรับผู้ใช้ที่จะเข้าใจ

เพื่อแก้ปัญหานี้ฉันได้พัฒนาเครื่องมือคลานเว็บลึกที่เรียกว่า DeepMiner ซึ่งช่วยให้การค้นหาง่ายขึ้นเพื่อช่วยให้ผู้ใช้ระบุผลลัพธ์ใด ๆ DeepMiner ดึงไซต์หัวหอมจากทรัพยากรที่รู้จักกันดีและการค้นหาโดยใช้ HTML ที่สกัด DeepMiner ทำงานอย่างต่อเนื่องและไม่มีกำหนดเพื่อให้แน่ใจว่าฐานข้อมูลได้รับการปรับปรุง ชื่อไซต์ไดเรกทอรี HTML และไซต์ที่เชื่อมต่อจะถูกบันทึกไว้ในไฟล์ฐานข้อมูล SQLite ซึ่งผู้ใช้สามารถวิเคราะห์ผลลัพธ์ได้

การดำเนินการ

DeepMiner เขียนขึ้นโดยใช้ Python 3 และทดสอบใน Ubuntu 20.04 การค้นหาจะดำเนินการโดยใช้ส่วนขยาย SQLite FTS5 สำหรับทั้งข้อความเต็มและการค้นหา regex เพื่อความสะดวกในการค้นหาผู้ใช้สามารถใช้เบราว์เซอร์ SQLite DB สำหรับอินเทอร์เฟซกราฟิก

ความต้องการ

กระตวน

Python 3

pip3

ทอร์

หน้าจอ

pysocks

การติดตั้ง

ในการติดตั้งใหม่ของ Ubuntu 20.04 รันคำสั่งต่อไปนี้

1.  sudo apt install git
   

2.  sudo apt install python3-pip
   

3.  pip3 install pysocks
   

4.  sudo apt install tor
   

5.  sudo apt install screen
   

6.  git clone https://github.com/Conso1eCowb0y/Deepminer
   

7.  cd Deepminer
   

8.  sudo python3 deepminer.py
   

9. ในการติดตั้งเบราว์เซอร์ SQLite DB ให้เรียกใช้คำสั่งต่อไปนี้:

    sudo apt install sqlitebrowser
   

สิ่งที่ต้องทำ

• มัลติเธรด
• GUI การค้นหาตาม Kivy