หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

เครื่องมือค้นหา osse

เครื่องมือค้นหาที่เรียบง่ายเกินไป - ทำให้เครื่องมือค้นหาง่ายขึ้น ??
การออกเสียง: "Oh-see"

สารบัญ

  • ทำไม
  • การใช้งาน
  • คุณสมบัติ
  • มันทำงานอย่างไร
  • แผนงาน
  • การบริจาค
  • ใบอนุญาต

- ทำไม

เพื่อความสนุกสนาน! ฉันอยากเรียนรู้สนิมและในเวลานั้นฉันสนใจวิธีการทำงานของเครื่องมือค้นหาดังนั้นจึงไม่มีวิธีที่ดีกว่าในการบรรลุเป้าหมายทั้งสองมากกว่าโครงการนี้!

- การใช้งาน

ที่เก็บนี้เป็น monorepo ที่เกิดขึ้นจากส่วนประกอบอิสระที่สร้างเครื่องมือค้นหา OSSE

การติดตั้งการอ้างอิง

  • กับ Nix: 

 $ nix develop

  • มิฉะนั้น:

ติดตั้งสินค้าและลำต้นด้วยวิธีที่คุณต้องการ (เช่นตัวจัดการแพ็คเกจที่คุณชื่นชอบ)

วิ่ง

  • คนรวบรวมข้อมูล 
 $ cargo run --bin crawler
  • ผู้ทำดัชนี 
 $ cargo run --bin indexer
  • ส่วนหน้า 
 $ trunk serve frontend/index.html --open

เมื่อส่วนประกอบทั้งหมดทำงานแล้วคุณสามารถนำทางไปที่ 127.0.0.1:8080 บนเว็บเบราว์เซอร์ที่คุณชื่นชอบและเริ่มใช้ OSSE!

- คุณสมบัติ

  • โฮสต์ตัวเองอย่างสมบูรณ์: OSSE ไม่ได้ใช้บริการภายนอกใด ๆ สิ่งที่คุณต้องการคือสามองค์ประกอบ (INDEXER, Crawler & Frontend) เพื่อให้มีเครื่องมือค้นหา "สมบูรณ์"
  • อัลกอริทึมการจัดทำดัชนีและการจัดอันดับที่กำหนดเอง: Osse ใช้อัลกอริทึมการจัดทำดัชนีและการจัดอันดับโอเพนซอร์ซของตัวเองซึ่งหมายความว่ารหัสของมันสามารถตรวจสอบได้และปรับปรุงได้โดยบุคคลที่สาม
  • Hackable: OSSE ถูกสร้างขึ้นด้วยการขยายความสามารถและความเป็นโมดูลในใจดังนั้นจึงเป็นไปได้ทั้งหมดที่จะเปลี่ยนหรือปรับแต่งส่วนประกอบต่างๆ
  • ความเป็นส่วนตัวที่เคารพ: อันเป็นผลมาจากการที่ Osse เป็นอิสระอย่างสมบูรณ์มันไม่ได้ส่งข้อมูลเมตาใด ๆ ไปยังบริการใด ๆ

มันทำงานอย่างไร

เครื่องมือค้นหา Osse ถูกแยกออกเป็นสามองค์ประกอบอิสระ:

  • ผู้ทำดัชนี

ส่วนประกอบนี้ให้ทั้งการใช้งานของเครื่องมือดัชนีค้นหาจริงและ REST API ที่ใช้ในการค้นหาและเพิ่มทรัพยากรที่จัดทำดัชนี มันใช้ Actix Web สำหรับ REST API (ทำงานบนพอร์ต 4444) สำหรับการใช้งานโครงสร้างข้อมูลดัชนีจริงเราใช้ดัชนีย้อนกลับที่ง่ายมากที่ใช้กับ HASHMAP ดังนั้นทรัพยากรที่จัดทำดัชนีทั้งหมดจะสูญหายในปัจจุบันทุกครั้งที่มีการเริ่มต้นดัชนีใหม่

  • คนรวบรวมข้อมูล

ส่วนประกอบนี้เป็นตัวรวบรวมข้อมูลแบบเรียกซ้ำแบบง่าย ๆ ที่ส่งต่อ HTML ดิบที่รวบรวมไว้ไปยังตัวทำดัชนี มันใช้ REQWEST สำหรับการดึงรายการเว็บไซต์รูทที่กำหนดไว้ล่วงหน้าและแยกวิเคราะห์ด้วยมีดโกนส่งเนื้อหาเว็บไซต์ไปยังตัวทำดัชนีและแยกลิงค์ทั้งหมดเพิ่มเข้าไปในคิวเว็บไซต์ที่จะถูกรวบรวมข้อมูล กระบวนการนี้คือ "ซ้ำ" ซ้ำ ๆ อย่างไม่มีกำหนด

  • ส่วนหน้า

ส่วนประกอบนี้เป็นเว็บอินเตอร์เฟสอย่างง่ายสำหรับตัวทำดัชนี ช่วยให้ผู้ใช้สามารถค้นหาและแสดงภาพผลลัพธ์ในวิธีที่ใช้งานง่าย ปัจจุบันมันถูกสร้างขึ้นโดยใช้ต้นยูซึ่งช่วยให้เราสามารถเขียนส่วนหน้าในสนิมและผลิต web-ui ที่ใช้ "เร็ว"

- แผนงาน

  • เพิ่มส่วนหน้า
  • เปลี่ยนตัวดัชนีเพื่อใช้ดัชนี NGRAM แทนดัชนีย้อนกลับ
  • ปรับปรุงส่วนหน้า
  • ปรับปรุงการตอบสนองของการค้นหาเมื่อผู้ทำดัชนีได้รับข้อมูลจากตัวรวบรวมข้อมูล
  • ทำความสะอาดสนิม
  • ปรับปรุงอัลกอริทึมการจัดอันดับหน้า

การบริจาค

"หากคุณมีความคิดหรือแพตช์โปรดอย่าลังเลที่จะมีส่วนร่วมใน OSSE!"

ใบอนุญาต

ซอฟต์แวร์นี้ได้รับอนุญาตภายใต้ข้อ BSD-2-clause © Baitinq

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด