Deepminer
1.0.0
ستكون أتمتة عملية الزحف عبر الويب العميق والبحث عن المصطلحات الرئيسية أو أسماء المجال أداة قيمة لأي اختبار أو باحث أو فريق أمان لتكنولوجيا المعلومات. يجب أن يكون هذا الإطار بسيطًا للاستخدام وقادر على التشغيل بشكل مستمر. بالإضافة إلى ذلك ، ستحتاج النتائج إلى أن يفهم المستخدم.
لحل هذه المشكلة ، قمت بتطوير أداة تزحف على الويب العميقة تسمى DeepMiner ، والتي تتيح البحث السهل لمساعدة المستخدمين على تحديد أي نتائج. Deepminer يسحب مواقع البصل من موارد وعمليات بحث معروفة باستخدام أي HTML المستخرجة. تعمل DeepMiner بشكل مستمر وهم غير مسمى لضمان تحديث قاعدة البيانات. يتم حفظ أسماء المواقع ، الدلائل ، HTML ، والمواقع المتصلة بملف قاعدة بيانات SQLite حيث يمكن للمستخدمين تحليل النتائج.
تتم كتابة DeepMiner باستخدام Python 3 واختبارها في Ubuntu 20.04. يتم إجراء عمليات البحث باستخدام امتداد SQLite FTS5 ، لكل من عمليات البحث عن النص الكامل و REGEX. لسهولة البحث ، يمكن للمستخدمين استخدام متصفح SQLite DB لواجهة رسومية.
غيت
بيثون 3
PIP3
تور
شاشة
pysocks
على تثبيت جديد لأوبونتو 20.04 قم بتشغيل الأوامر التالية
sudo apt install git
sudo apt install python3-pip
pip3 install pysocks
sudo apt install tor
sudo apt install screen
git clone https://github.com/Conso1eCowb0y/Deepminer
cd Deepminer
sudo python3 deepminer.py
لتثبيت متصفح SQLite DB ، قم بتشغيل الأمر التالي:
sudo apt install sqlitebrowser
