neos

ネオス

非常に効率的なWeb検索エンジン。

なぜ新しい検索エンジン？

明らかに、非常に多くの検索エンジンが利用可能です。そして、彼らは素晴らしい仕事をしています。しかし、それらにはいくつかの問題があります。

Googleは素晴らしいですが、オープンソースではありません。また、一部の人々はプライバシーを心配しており、一部の人々はGoogleの独占を心配しています。さらに、多くの検索エンジンが広告から利益を得ており、検索結果に影響を与える可能性があることは明らかです。

SearxngのようなMetasearchエンジンは、他の検索エンジンに依存しすぎています。

RAGベースの検索エンジンはゲームチェンジャーになる可能性がありますが、GPUのコストが高いため、すべての企業がLLMを使用する余裕があるわけではありません。

これが、新しいクラシック検索エンジンを構築するために時間を費やしている理由です。

説明書

1. 環境を設定します：

python3 -m venv .venv
source .venv/bin/activate

python3 scripts/setup.py
# to build ML mode:
python3 scripts/setup.py --ml

TODO：クローラーのセットアップを文書化する必要があります

2. サーバーの実行：

 # API server
cargo run api configs/api.toml

# search server
cargo run search-server configs/search_server.toml

# entity server
cargo run entity-search-server configs/entity_search_server.toml

# webgraph
cargo run webgraph server configs/webgraph/host_server.toml " && cargo run webgraph server configs/webgraph/page_server.toml 

トト

• Webからデータをクロールします
  • シードURLでクローラーを実行します
• インデックスを高速化するためにインデクサーを強化します
• ランキングアルゴリズムを更新し、効率を証明します
• Webインターフェイスが必要です
  • 検索ページ
  • エンティティ検索ページ

参照

• タンティビー
• 策略