Krawler
1.0.0
تنفيذ زاحف ويب بسيط في بيثون. الزاحف متعدد مؤشرات الترابط بالكامل ويمكن استخدامه لزحف الويب للحصول على اسم مجال معين.
للبدء ، تحتاج إلى تثبيت الشعر. يمكنك تثبيت الشعر عن طريق تشغيل الأمر التالي في shell.
pip install poetryعند الانتهاء من التثبيت ، قم بتشغيل الأمر التالي في shell في المجلد الجذر لهذا المستودع لتثبيت التبعيات وإنشاء بيئة افتراضية للمشروع.
poetry installبعد ذلك ، أدخل بيئة الشعر من خلال استدعاء أمر قذيفة الشعر.
poetry shellإذا كنت تستخدم نظامًا قائمًا على Debian ، فيمكنك تثبيت التبعيات على مستوى النظام عن طريق تشغيل الأمر التالي.
sudo apt-get install python3-bs4 libnss-resolve nscdلتشغيل الزاحف ، يمكنك استخدام الأمر التالي.
pushd src && python3 main.py --domain < domain_name > --threads < number_of_threads > --output < output_file > && popd تم ترخيص هذا المشروع بموجب ترخيص معهد ماساتشوستس للتكنولوجيا - راجع ملف الترخيص للحصول على التفاصيل.
