neos

Neos

Mecanismo de pesquisa na web altamente eficiente.

Por que novo mecanismo de pesquisa?

Claramente, existem muitos mecanismos de pesquisa disponíveis. E eles estão fazendo um ótimo trabalho. Mas há alguns problemas com eles.

O Google é ótimo, mas não é de código aberto. Além disso, algumas pessoas estão preocupadas com a privacidade e algumas pessoas estão preocupadas com o monopólio do Google. Além disso, fica claro que muitos mecanismos de pesquisa obtêm lucro com anúncios, o que pode afetar os resultados da pesquisa.

Motores de meta -pesquisa como o Searxng estão confiando demais em outros mecanismos de pesquisa.

Os mecanismos de pesquisa baseados em trapos pode ser um divisor de águas, mas nem todas as empresas podem usar o LLMS devido ao alto custo das GPUs.

É por isso que estou gastando meu tempo para construir um novo mecanismo de pesquisa clássico.

Instruções

1. Configure o ambiente:

python3 -m venv .venv
source .venv/bin/activate

python3 scripts/setup.py
# to build ML mode:
python3 scripts/setup.py --ml

TODO: preciso documentar a configuração de rastreador

2. Executar servidores:

 # API server
cargo run api configs/api.toml

# search server
cargo run search-server configs/search_server.toml

# entity server
cargo run entity-search-server configs/entity_search_server.toml

# webgraph
cargo run webgraph server configs/webgraph/host_server.toml " && cargo run webgraph server configs/webgraph/page_server.toml 

PENDÊNCIA

• Rasteje os dados da web
  • execute o rastreador com os URLs de semente
• Aumente o indexador para indexação mais rápida
• Atualize os algoritmos de classificação, prove a eficiência
• Precisa de interface da web
  • Página de pesquisa
  • Página de pesquisa de entidades

Referências

• Tantivy
• stract