neos

نيوس

محرك بحث ويب فعال للغاية.

لماذا محرك بحث جديد؟

من الواضح أن هناك العديد من محركات البحث المتاحة. وهم يقومون بعمل رائع. ولكن ، هناك بعض المشكلات معهم.

Google رائعة ، لكنها ليست مفتوحة المصدر. أيضًا ، يشعر بعض الأشخاص بالقلق إزاء الخصوصية ، ويشعر بعض الناس بالقلق إزاء احتكار Google. علاوة على ذلك ، من الواضح أن العديد من محركات البحث تحصل على ربح من الإعلانات ، والتي قد تؤثر على نتائج البحث.

تعتمد محركات MetAsearch مثل Searxng كثيرًا على محركات البحث الأخرى.

يمكن أن تكون محركات البحث المستندة إلى RAG بمثابة تغيير للألعاب ، ولكن لا يمكن لجميع الشركات استخدام LLMS بسبب ارتفاع تكلفة وحدات معالجة الرسومات.

هذا هو السبب في أنني أقضي وقتي في بناء محرك بحث كلاسيكي جديد.

تعليمات

1. قم بإعداد البيئة:

python3 -m venv .venv
source .venv/bin/activate

python3 scripts/setup.py
# to build ML mode:
python3 scripts/setup.py --ml

TODO: بحاجة لتوثيق إعداد الزاحف

2. خوادم الجري:

 # API server
cargo run api configs/api.toml

# search server
cargo run search-server configs/search_server.toml

# entity server
cargo run entity-search-server configs/entity_search_server.toml

# webgraph
cargo run webgraph server configs/webgraph/host_server.toml " && cargo run webgraph server configs/webgraph/page_server.toml 

تودو

• زحف البيانات من الويب
  • قم بتشغيل الزاحف بعناوين URL
• عزز الفهرس بشكل أسرع
• قم بتحديث خوارزميات الترتيب ، وأثبت الكفاءة
• بحاجة إلى واجهة الويب
  • صفحة البحث
  • صفحة البحث الكيان

مراجع

• tantivy
• يتناسب