dawnsearch

Dawnsearch

Dawnsearch ist eine Open -Source -verteilte Web -Suchmaschine, die nach Bedeutung sucht. Es verwendet semantische Suche (Suche nach Bedeutung) unter Verwendung von All-Minilm-L6-V2. Es verwendet Usearch für die Vektorsuche. Es kann die gemeinsamen Crawl -Daten indexieren. Dawnsearch ist in Rost geschrieben.

Eine öffentliche Instanz ist auf Dawnsearch.org erhältlich.

Projektstatus

Dawnsearch fungiert derzeit als verteilte (semantische) Vektorsuche. Wenn Sie eine Instanz starten, wird sich beim Tracker registriert. Die Instanz kann dann durch Suche am Netzwerk teilnehmen. Optional kann es den gemeinsamen Crawl -Datensatz indexieren und Fragen beantworten.

Hauptartikel noch zu tun:

1. Bessere Fehlerbehandlung. Es gibt noch viel .unwrap () im Code.
2. Robustheit gegen fehlerhafte oder böswillige Instanzen.
3. Paketverschlüsselung.
4. Erhöhen Sie die Suche Effizienz, indem Sie indexierte Seiten auf Instanzen verteilen, die semantisch dem Inhalt nahe stehen.

Hilfe benötigt!

Dawnsearch sucht nach:

1. Personen, um die Suche auf Dawnsearch.org zu verwenden und Feedback zur Verwendung und Qualität der Ergebnisse zu geben.
2. Menschen mit Rost -Erfahrung, um einen Blick auf die Codebasis zu werfen und Tipps zum Lesen des Lesens und des ideomatischen Rostes zu geben.
3. Ein UI/UX -Designer zum Erstellen von Designs für die Haupt- und Suchergebnisse.
4. Rostentwickler, die einige der im Rahmen des Projektstatus genannten Probleme angehen können
5. Leute, die ihre eigene Instanz führen wollen.

Bitte öffnen Sie Probleme für Fragen oder Feedback. Wenn Sie etwas Großes wie eine Funktion oder ein Refaktor beibringen möchten, öffnen Sie ein Problem, bevor Sie anfangen, damit Sie keine doppelte Arbeit leisten!

Schneller Start

Dadurch wird ohne GPU -Beschleunigung eine "Access Terminal" Dawnsearch -Instanz auf einem kürzlichen Ubuntu aufgebaut und ausgeführt. Beispiele für andere Konfigurationen finden Sie in Modi.

 sudo apt-get update && sudo apt-get install -y build-essential pkg-config

# Install rust if you don't have it already:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

mv DawnSearch.toml.example DawnSearch.toml
RUSTFLAGS='-C target-cpu=native'  cargo run --release

Gehen Sie nun zu http: // localhost: 8080, um auf Ihre eigene Dawnsearch -Instanz zuzugreifen. Sie werden in der Lage sein, Suchvorgänge auszuführen, aber Sie werden noch nicht zum Netzwerk beitragen. Schauen Sie sich Modi an, um zu sehen, wie Sie dies tun können.

Wenn Sie auf die GPU -Beschleunigung upgraden möchten, versuchen Sie dies. Sie müssen CUDA installieren lassen:

 RUSTFLAGS='-C target-cpu=native'  cargo run --release --features cuda

Beachten Sie, dass bei einem M1/M2 -Mac 'Fracht install' nicht funktioniert. "Cargo Build" tut es jedoch!

Fühlen Sie sich frei, ein Problem zu eröffnen, wenn Sie auf Probleme stoßen!

Konfiguration

Sie können Dawnsearch über Dawnsearch.toml oder durch Umgebungsvariablen wie Dawnsearch_index_cc konfigurieren.

Dokumentation

Arbeiten in Arbeit!

• Dawnsearch Architektur
• Zusätzliche Informationen zum Bauen von Dawnsearch
• Daten - Ort der von Dawnsearch gespeicherten Daten.
• Dawnsearch -Modi - Die verschiedenen Möglichkeiten, wie Sie Dawnsearch ausführen können.
• Optmizing - Profiling und Optimierung.

Siehe auch

• So bauen Sie eine semantische Suchmaschine in Rost - hervorragendes Tutorial, wie man semantische Suche mit Rust -Bert durchführt.