neos

NEOS

高效的Web搜索引擎。

為什麼要新的搜索引擎？

顯然，有很多可用的搜索引擎。他們做得很好。但是，它們有一些問題。

Google很棒，但不是開源。此外，有些人擔心隱私，有些人擔心Google的壟斷。此外，很明顯，許多搜索引擎從廣告中獲利，這可能會影響搜索結果。

像Searxng這樣的元搜索引擎過於依賴其他搜索引擎。

基於抹布的搜索引擎可能會改變遊戲規則，但由於GPU的高成本，並非所有公司都能負擔使用LLM。

這就是為什麼我花時間構建新的經典搜索引擎的原因。

指示

1. 設置環境：

python3 -m venv .venv
source .venv/bin/activate

python3 scripts/setup.py
# to build ML mode:
python3 scripts/setup.py --ml

TODO：需要記錄爬網設置

2. 運行服務器：

 # API server
cargo run api configs/api.toml

# search server
cargo run search-server configs/search_server.toml

# entity server
cargo run entity-search-server configs/entity_search_server.toml

# webgraph
cargo run webgraph server configs/webgraph/host_server.toml " && cargo run webgraph server configs/webgraph/page_server.toml 

托多

• 從網絡爬網
  • 用種子URL運行爬行者
• 增強索引器以進行更快的索引
• 更新排名算法，證明效率
• 需要Web界面
  • 搜索頁面
  • 實體搜索頁面

參考

• tantivy
• 條紋