neos

Neos

Mesin pencari web yang sangat efisien.

Mengapa mesin pencari baru?

Jelas, ada begitu banyak mesin pencari yang tersedia. Dan mereka melakukan pekerjaan dengan baik. Tapi, ada beberapa masalah dengan mereka.

Google hebat, tetapi bukan open source. Juga, beberapa orang khawatir tentang privasi, dan beberapa orang khawatir tentang monopoli Google. Selain itu, jelas bahwa banyak mesin pencari mendapat untung dari iklan, yang mungkin mempengaruhi hasil pencarian.

Mesin Metasearch seperti Searxng terlalu mengandalkan mesin pencari lainnya.

Mesin pencari berbasis RAG bisa menjadi game-changer, tetapi tidak semua perusahaan mampu menggunakan LLMS karena tingginya biaya GPU.

Inilah sebabnya saya menghabiskan waktu untuk membangun mesin pencari klasik baru.

Instruksi

1. Siapkan lingkungan:

python3 -m venv .venv
source .venv/bin/activate

python3 scripts/setup.py
# to build ML mode:
python3 scripts/setup.py --ml

TODO: Perlu mendokumentasikan pengaturan crawler

2. Jalankan server:

 # API server
cargo run api configs/api.toml

# search server
cargo run search-server configs/search_server.toml

# entity server
cargo run entity-search-server configs/entity_search_server.toml

# webgraph
cargo run webgraph server configs/webgraph/host_server.toml " && cargo run webgraph server configs/webgraph/page_server.toml 

Todo

• Merangkak data dari web
  • Jalankan crawler dengan URL benih
• Tingkatkan pengindeks untuk pengindeksan yang lebih cepat
• Perbarui algoritma peringkat, buktikan efisiensi
• Butuh antarmuka web
  • Halaman pencarian
  • Halaman Pencarian Entitas

Referensi

• tanttivy
• stract