neos

NEOS

高效的Web搜索引擎。

为什么要新的搜索引擎？

显然，有很多可用的搜索引擎。他们做得很好。但是，它们有一些问题。

Google很棒，但不是开源。此外，有些人担心隐私，有些人担心Google的垄断。此外，很明显，许多搜索引擎从广告中获利，这可能会影响搜索结果。

像Searxng这样的元搜索引擎过于依赖其他搜索引擎。

基于抹布的搜索引擎可能会改变游戏规则，但由于GPU的高成本，并非所有公司都能负担使用LLM。

这就是为什么我花时间构建新的经典搜索引擎的原因。

指示

1. 设置环境：

python3 -m venv .venv
source .venv/bin/activate

python3 scripts/setup.py
# to build ML mode:
python3 scripts/setup.py --ml

TODO：需要记录爬网设置

2. 运行服务器：

 # API server
cargo run api configs/api.toml

# search server
cargo run search-server configs/search_server.toml

# entity server
cargo run entity-search-server configs/entity_search_server.toml

# webgraph
cargo run webgraph server configs/webgraph/host_server.toml " && cargo run webgraph server configs/webgraph/page_server.toml 

托多

• 从网络爬网
  • 用种子URL运行爬行者
• 增强索引器以进行更快的索引
• 更新排名算法，证明效率
• 需要Web界面
  • 搜索页面
  • 实体搜索页面

参考

• tantivy
• 条纹