hydra link checker

Hydra: مدقق ارتباط متعدد المواقع في Python

برنامج بيثون يزحف الانزلاق؟ موقع ويب للروابط وطبع تقرير YAML من الروابط المكسورة.

يتطلب

بيثون 3.6 أو أعلى.

لا توجد تبعيات خارجية ، نيو.

الاستخدام

$ python hydra.py -h
usage: hydra.py [-h] [--config CONFIG] URL

الحجج الموضعية:

• URL : عنوان URL للموقع للزحف. تأكد من أن URL مطلق بما في ذلك المخطط ، على سبيل المثال https://example.com .

الحجج الاختيارية:

• -h ، --help : عرض رسالة المساعدة والخروج
• --config CONFIG ، -c CONFIG : مسار إلى ملف التكوين

سيتم إخراج تقرير الروابط المكسورة إلى stdout ، لذلك قد ترغب في إعادة توجيه ذلك إلى ملف.

سيتم تنسيق التقرير. لحفظ الإخراج إلى ملف ، قم بتشغيل:

python hydra.py [URL] > [PATH/TO/FILE.yaml]

يمكنك إضافة التاريخ الحالي إلى اسم الملف باستخدام استبدال الأوامر ، مثل:

python hydra.py [URL] > /path/to/ $( date ' +%Y_%m_%d ' ) _report.yaml

لمعرفة المدة التي يستغرقها Hydra للتحقق من موقعك ، أضف time :

 time python hydra.py [URL]

عمل جيثب

يمكنك بسهولة دمج Hydra كجزء من عملية تلقائية باستخدام إجراء SNITCH الارتباط.

إعدادات

يمكن لـ Hydra قبول ملف تكوين JSON اختياري لمعلمات محددة ، على سبيل المثال:

{
    "OK" : [
        200 ,
        999 ,
        403
    ],
    "attrs" : [
        " href "
    ],
    "exclude_scheme_prefixes" : [
        " tel "
    ],
    "tags" : [
        " a " ,
        " img "
    ],
    "threads" : 25 ,
    "timeout" : 30 ,
    "graceful_exit" : " True "
}

لاستخدام ملف التكوين ، قم بتزويد اسم الملف:

python hydra.py https://example.com --config ./hydra-config.json

الإعدادات الممكنة:

• OK - رموز استجابة HTTP للنظر فيها كتحقق من الارتباط الناجح. الإعدادات الافتراضية لـ [200, 999] .
• attrs - سمات علامات HTML للتحقق من وجود روابط. الإعدادات الافتراضية لـ ["href", "src"] .
• exclude_scheme_prefixes - بادئات مخطط HTTP لاستبعادها من التحقق. الإعدادات الافتراضية لـ ["tel:", "javascript:"] .
• tags - علامات HTML للتحقق من الروابط. الإعدادات الافتراضية لـ ["a", "link", "img", "script"] .
• threads - الحد الأقصى للعمال للتشغيل. الافتراضات إلى 50 .
• timeout - أقصى ثوانٍ لانتظار استجابة HTTP. الافتراضات إلى 60 .
• graceful_exit - إذا تم ضبطه على True ، وهناك روابط مكسورة الحالية exit code 0 exit code 1 .

امتحان

يجري:

python -m unittest tests/test.py