simple search engine

เครื่องมือค้นหาง่าย ๆ ด้วย Python 3

โครงการขนาดเล็กนี้จะใช้เครื่องมือค้นหาอย่างง่ายโดยใช้โมเดล Space Vector ข้อมูลจะถูกรวบรวมข้อมูลจากข่าวประจำวันเวียดนามเช่น VNExpress, Vietnamnet, Thanhnien และ Laodong

เครื่องมือ

• ติดตั้ง Python 3.5+ และ PIP หากไม่ได้ติดตั้ง

• ใช้ pip เพื่อติดตั้งแพ็คเกจต่อไปนี้:

  • requests (สำหรับการร้องขอ HTTP)
  • underthesea (ชุดเครื่องมือ NLP เวียดนาม)
  • beautifulsoup4 (สำหรับการแยกวิเคราะห์ HTML และ XML)

  $ pip install requests underthesea beautifulsoup4

• (ไม่บังคับ) ติดตั้ง pytest เพื่อเรียกใช้การทดสอบหน่วย:

  $ pip install pytest
  $ cd /path/to/project
  $ pytest

• ติดตั้ง Git และโคลนโครงการนี้ลงในเครื่องท้องถิ่น:

  $ git clone https://github.com/vancanhuit/simple-search-engine.git
  $ cd simple-search-engine

  หมายเหตุ: หากคุณเรียกใช้โครงการนี้บน Windows คุณต้องชำระเงินไปที่ windows Branch นี่เป็นเพราะปัญหาข้ามแพลตฟอร์มของโมดูลชั้นวางใน Python (ดูปัญหานี้):

  $ git checkout windows

การใช้งาน

• เรียกใช้สคริปต์ index.py เพื่อดำเนินการดัชนีข้อมูล ข้อมูลที่จัดทำดัชนีจะถูกสร้างขึ้น (ถ้าไม่มี) หรืออัปเดตและเก็บไว้ใน db/ Directory

  $ python index.py

• เรียกใช้สคริปต์ search.py ​​และส่งสตริงแบบสอบถามสำหรับมัน

  $ python search.py " Your query string here "

  ตัวอย่างเช่น:

  $ python search.py " Trump Trieu Tien "
  https://vnexpress.net/tin-tuc/the-gioi/trump-noi-cuoc-gap-voi-kim-jong-un-van-co-the-dien-ra-vao-12-6-3754763.html - 0.32331036424704196
  https://vnexpress.net/tin-tuc/the-gioi/trump-huy-cuoc-gap-voi-lanh-dao-trieu-tien-3754245.html - 0.3158077661308892
  https://vnexpress.net/tin-tuc/the-gioi/trump-thuc-giuc-trung-quoc-that-chat-bien-gioi-voi-trieu-tien-3752746.html - 0.3017484484730665
  https://vnexpress.net/tin-tuc/the-gioi/abe-noi-se-gap-trump-truoc-cuoc-hop-thuong-dinh-my-trieu-3755808.html - 0.30059730510834515
  http://vietnamnet.vn/vn/the-gioi/binh-luan-quoc-te/nhung-nga-re-chop-nhoang-kho-luong-cua-thuong-dinh-trump-kim-453759.html - 0.2990576238183994
  https://vnexpress.net/tin-tuc/the-gioi/ngoai-truong-my-giai-thich-ly-do-cuoc-gap-trump-kim-bi-huy-3754252.html - 0.2807074203562179
  https://vnexpress.net/tin-tuc/the-gioi/han-quoc-hop-khan-sau-khi-trump-tuyen-bo-huy-gap-kim-jong-un-3754256.html - 0.24340889391647347
  https://vnexpress.net/tin-tuc/the-gioi/my-canh-bao-trieu-tien-co-the-chiu-chung-so-phan-nhu-libya-3753226.html - 0.24232103427164864
  ...

  ผลลัพธ์การสืบค้นข้างต้นอาจมีการเปลี่ยนแปลงเนื่องจากข้อมูลที่จัดทำดัชนีสามารถอัปเดตได้ หากต้องการรับดัชนีที่อัปเดตให้เรียกใช้คำสั่ง git pull origin master