neos

Neos

Hocheffiziente Web -Suchmaschine.

Warum neue Suchmaschine?

Es ist eindeutig so viele Suchmaschinen zur Verfügung. Und sie machen einen tollen Job. Aber es gibt einige Probleme mit ihnen.

Google ist großartig, aber es ist keine Open Source. Einige Menschen sind auch besorgt über Privatsphäre, und einige Menschen sind besorgt über das Monopol von Google. Darüber hinaus ist klar, dass viele Suchmaschinen von Anzeigen profitieren, was sich auf die Suchergebnisse auswirken könnte.

Metasarch -Motoren wie Searxng verlassen sich zu sehr auf andere Suchmaschinen.

Suchmaschinenbasierte Suchmaschinen könnten ein Game-Changer sein, aber nicht alle Unternehmen können es sich aufgrund der hohen Kosten für GPUs leisten, die LLMs zu nutzen.

Aus diesem Grund verbringe ich meine Zeit, um eine neue klassische Suchmaschine zu bauen.

Anweisungen

1. Richten Sie die Umgebung ein:

python3 -m venv .venv
source .venv/bin/activate

python3 scripts/setup.py
# to build ML mode:
python3 scripts/setup.py --ml

TODO: Müssen das Crawler -Setup dokumentieren

2. Server laufen:

 # API server
cargo run api configs/api.toml

# search server
cargo run search-server configs/search_server.toml

# entity server
cargo run entity-search-server configs/entity_search_server.toml

# webgraph
cargo run webgraph server configs/webgraph/host_server.toml " && cargo run webgraph server configs/webgraph/page_server.toml 

Todo

• Kriechen Sie die Daten aus dem Web
  • Laufen Sie den Crawler mit den Samen -URLs
• Verbessern Sie den Indexer für eine schnellere Indexierung
• Aktualisieren Sie die Ranking -Algorithmen, beweisen Sie die Effizienz
• Benötigen Sie eine Weboberfläche
  • Suchseite
  • Entitätssuchseite

Referenzen

• tantivisch
• straktieren