neos

นีโอ

เครื่องมือค้นหาเว็บที่มีประสิทธิภาพสูง

ทำไมต้องค้นหาเครื่องมือค้นหาใหม่?

เห็นได้ชัดว่ามีเครื่องมือค้นหามากมาย และพวกเขากำลังทำได้ดีมาก แต่มีปัญหาบางอย่างกับพวกเขา

Google นั้นยอดเยี่ยม แต่ไม่ใช่โอเพ่นซอร์ส นอกจากนี้บางคนมีความกังวลเกี่ยวกับความเป็นส่วนตัวและบางคนมีความกังวลเกี่ยวกับการผูกขาดของ Google นอกจากนี้เป็นที่ชัดเจนว่าเครื่องมือค้นหาจำนวนมากได้รับกำไรจากโฆษณาซึ่งอาจส่งผลกระทบต่อผลการค้นหา

เอ็นจิ้น Metasearch อย่าง Searxng พึ่งพาเครื่องมือค้นหาอื่น ๆ มากเกินไป

เครื่องมือค้นหาที่ใช้ RAG อาจเป็นตัวเปลี่ยนเกม แต่ไม่ใช่ทุก บริษัท ที่สามารถใช้ LLMs ได้เนื่องจากค่า GPU ที่มีค่าใช้จ่ายสูง

นี่คือเหตุผลที่ฉันใช้เวลาในการสร้างเครื่องมือค้นหาคลาสสิกใหม่

คำแนะนำ

1. ตั้งค่าสภาพแวดล้อม:

python3 -m venv .venv
source .venv/bin/activate

python3 scripts/setup.py
# to build ML mode:
python3 scripts/setup.py --ml

TODO: จำเป็นต้องจัดทำเอกสารการตั้งค่า Crawler

2. เรียกใช้เซิร์ฟเวอร์:

 # API server
cargo run api configs/api.toml

# search server
cargo run search-server configs/search_server.toml

# entity server
cargo run entity-search-server configs/entity_search_server.toml

# webgraph
cargo run webgraph server configs/webgraph/host_server.toml " && cargo run webgraph server configs/webgraph/page_server.toml 

สิ่งที่ต้องทำ

• รวบรวมข้อมูลจากเว็บ
  • เรียกใช้งานรวบรวมข้อมูลด้วย URL ของเมล็ดพันธุ์
• ปรับปรุงดัชนีสำหรับการจัดทำดัชนีที่เร็วขึ้น
• อัปเดตอัลกอริทึมการจัดอันดับพิสูจน์ประสิทธิภาพ
• ต้องการเว็บอินเตอร์เฟส
  • หน้าค้นหา
  • หน้าค้นหาเอนทิตี

การอ้างอิง

• น่ารัก
• ทำให้งง