Krawler

Krawler: Web Crawler หลายตัวใน Python

การใช้งาน Web Crawler อย่างง่ายใน Python ตัวรวบรวมข้อมูลเป็นมัลติเธรดเต็มรูปแบบและสามารถใช้ในการรวบรวมข้อมูลเว็บสำหรับชื่อโดเมนที่กำหนด

การติดตั้งบทกวี

ในการเริ่มต้นคุณต้องติดตั้งบทกวี คุณสามารถติดตั้งบทกวีได้โดยเรียกใช้คำสั่งต่อไปนี้ในเชลล์

pip install poetry

เมื่อการติดตั้งเสร็จสิ้นให้เรียกใช้คำสั่งต่อไปนี้ในเชลล์ในโฟลเดอร์รูทของที่เก็บนี้เพื่อติดตั้งการอ้างอิงและสร้างสภาพแวดล้อมเสมือนจริงสำหรับโครงการ

poetry install

หลังจากนั้นให้ป้อนสภาพแวดล้อมบทกวีโดยการเรียกใช้คำสั่งเชลล์บทกวี

poetry shell

การติดตั้งระบบการพึ่งพา

หากคุณใช้ระบบที่ใช้ Debian คุณสามารถติดตั้งการพึ่งพาทั่วทั้งระบบได้โดยเรียกใช้คำสั่งต่อไปนี้

sudo apt-get install python3-bs4 libnss-resolve nscd

เรียกใช้งานรวบรวมข้อมูล

ในการเรียกใช้ตัวรวบรวมข้อมูลคุณสามารถใช้คำสั่งต่อไปนี้

 pushd src && python3 main.py --domain < domain_name > --threads < number_of_threads > --output < output_file > && popd 

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT - ดูไฟล์ใบอนุญาตสำหรับรายละเอียด