neos

Neos

Motor de búsqueda web altamente eficiente.

¿Por qué nuevo motor de búsqueda?

Claramente, hay tantos motores de búsqueda disponibles. Y están haciendo un gran trabajo. Pero, hay algunos problemas con ellos.

Google es genial, pero no es de código abierto. Además, algunas personas están preocupadas por la privacidad, y algunas personas están preocupadas por el monopolio de Google. Además, está claro que muchos motores de búsqueda obtienen ganancias de los anuncios, lo que podría afectar los resultados de búsqueda.

Los motores de Metasearch como Searxng dependen demasiado de otros motores de búsqueda.

Los motores de búsqueda basados ​​en trapo podrían cambiar el juego, pero no todas las compañías pueden permitirse el lujo de usar el LLM debido al alto costo de las GPU.

Es por eso que paso mi tiempo para construir un nuevo motor de búsqueda clásico.

Instrucciones

1. Configurar el entorno:

python3 -m venv .venv
source .venv/bin/activate

python3 scripts/setup.py
# to build ML mode:
python3 scripts/setup.py --ml

TODO: Necesito documentar la configuración del rastreador

2. Servidores de ejecución:

 # API server
cargo run api configs/api.toml

# search server
cargo run search-server configs/search_server.toml

# entity server
cargo run entity-search-server configs/entity_search_server.toml

# webgraph
cargo run webgraph server configs/webgraph/host_server.toml " && cargo run webgraph server configs/webgraph/page_server.toml 

HACER

• Rastrear los datos de la web
  • Ejecute el rastreador con las URL de semillas
• Mejorar el indexador para una indexación más rápida
• Actualizar los algoritmos de clasificación, demostrar la eficiencia
• Necesita interfaz web
  • Página de búsqueda
  • Página de búsqueda de entidades

Referencias

• tantivy
• frezar