neos

Néos

Moteur de recherche Web très efficace.

Pourquoi un nouveau moteur de recherche?

De toute évidence, il y a tellement de moteurs de recherche disponibles. Et ils font un excellent travail. Mais, il y a des problèmes avec eux.

Google est génial, mais ce n'est pas open source. De plus, certaines personnes sont préoccupées par la vie privée, et certaines personnes sont préoccupées par le monopole de Google. En outre, il est clair que de nombreux moteurs de recherche tirent du profit des publicités, ce qui pourrait affecter les résultats de recherche.

Les moteurs de métasearch comme SearXng s'appuient trop sur d'autres moteurs de recherche.

Les moteurs de recherche basés sur des chiffons pourraient changer la donne, mais toutes les entreprises ne peuvent pas se permettre d'utiliser les LLM en raison du coût élevé des GPU.

C'est pourquoi je passe mon temps à construire un nouveau moteur de recherche classique.

Instructions

1. Configurer l'environnement:

python3 -m venv .venv
source .venv/bin/activate

python3 scripts/setup.py
# to build ML mode:
python3 scripts/setup.py --ml

TODO: Besoin de documenter la configuration du robot

2. Exécuter des serveurs:

 # API server
cargo run api configs/api.toml

# search server
cargo run search-server configs/search_server.toml

# entity server
cargo run entity-search-server configs/entity_search_server.toml

# webgraph
cargo run webgraph server configs/webgraph/host_server.toml " && cargo run webgraph server configs/webgraph/page_server.toml 

FAIRE

• Enveloppez les données du Web
  • Faites couler le robot avec les URL des semences
• Améliorez l'indexeur pour une indexation plus rapide
• Mettre à jour les algorithmes de classement, prouver l'efficacité
• Besoin d'interface Web
  • Page de recherche
  • Page de recherche d'entité

Références

• tantivy
• étouffer