dawnsearch

Dawnsearch

DawnSearch est un moteur de recherche Web distribué open source qui recherche par sens. Il utilise une recherche sémantique (recherche sur le sens), en utilisant tout MINILM-L6-V2. Il utilise USEARCH pour la recherche vectorielle. Il peut indexer les données d'empilement communes. Dawnsearch est écrit en rouille.

Une instance publique est disponible sur Dawnsearch.org.

État du projet

DawnSearch fonctionne actuellement comme une recherche vectorielle distribuée (sémantique). Lorsque vous démarrez une instance, il s'inscrira auprès du tracker. L'instance peut ensuite participer au réseau en recherchant. Facultativement, il peut indexer l'ensemble de données de crawl commun et les requêtes de réponse.

Articles principaux encore à faire:

1. Meilleure gestion des erreurs. Il y a encore beaucoup de .unwrap () dans le code.
2. Robustesse contre les cas défectueux ou malveillants.
3. Cryptage de paquets.
4. Augmentez l'efficacité de la recherche en distribuant des pages indexées vers des instances qui sont sémantiquement proches du contenu.

Aide nécessaire!

Dawnsearch recherche:

1. Les gens pour utiliser la recherche sur Dawnsearch.org et donner des commentaires sur l'utilisation et la qualité des résultats.
2. Les personnes atteintes de la rouille ont une expérience pour jeter un œil à la base de code et donner des conseils pour le rendre plus facile à lire et plus de rouille idéomatique.
3. Un concepteur d'interface utilisateur / UX pour créer des conceptions pour les pages de résultats principaux et de recherche.
4. Développeurs de rouille qui peuvent s'attaquer à certains des problèmes mentionnés dans le «statut du projet»
5. Les gens qui veulent gérer leur propre instance.

Veuillez ouvrir des problèmes pour toutes les questions ou commentaires. Si vous souhaitez contribuer quelque chose de grand, comme une fonctionnalité ou un refactor, ouvrez un problème avant de commencer afin de ne pas faire de travail en double!

Démarrage rapide

Cela créera et exécutera une instance DawnSearch 'Access Terminal' sur une récente Ubuntu, sans accélération GPU. Voir les modes pour des exemples d'autres configurations.

 sudo apt-get update && sudo apt-get install -y build-essential pkg-config

# Install rust if you don't have it already:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

mv DawnSearch.toml.example DawnSearch.toml
RUSTFLAGS='-C target-cpu=native'  cargo run --release

Maintenant, allez sur http: // localhost: 8080 pour accéder à votre propre instance DawnSearch. Vous pourrez effectuer des recherches, mais vous ne contribuerez pas encore au réseau. Jetez un œil aux modes pour voir comment vous pouvez le faire.

Si vous souhaitez passer à l'accélération GPU, essayez-le. Vous devez faire installer Cuda:

 RUSTFLAGS='-C target-cpu=native'  cargo run --release --features cuda

Notez que sur un Mac M1 / ​​M2, «Cargo Install» ne fonctionne pas. La «construction de cargaison» fait cependant!

N'hésitez pas à ouvrir un problème si vous rencontrez des problèmes!

Configuration

Vous pouvez configurer DawnSearch via DawnSearch.toml ou via des variables d'environnement comme DawnSearch_index_CC.

Documentation

Travail en cours!

• Architecture Dawnsearch
• Informations supplémentaires sur Buildling Dawnsearch
• Données - Emplacement des données stockées par DawnSearch.
• Modes DawnSearch - Les différentes façons d'exécuter DawnSearch.
• Optage - profilage et optimisation.

Voir aussi

• Comment construire un moteur de recherche sémantique dans Rust - Excellent tutoriel sur la façon de faire une recherche sémantique avec Rust-Bert.