mettis

MettiSDB: base de données de vecteur Lite Distributed construite à partir de * Scratch.

Ce qu'il fait:

• Recherche de texte intégral en utilisant le classement de proximité
• Recherche sémantique via HNSW + Distance cosinus
• Service d'intégration de texte de base intégré (API Python HTTP autour d'un transformateur de phrase)
• Fusion de rang réciproque pour la fusion des résultats de recherche en texte complet + sémantique
• Service en mémoire + persistance de disque
• tolérance aux pannes avec réplication du segment à l'aide de radeau

Ce que ce n'est pas:

• prêt pour la production (le code est assez suspendu)
• parfait (parce que l'ennemi du bien)

Architecture

Commencer

Installez les dépendances du service d'intégration de texte de base dans le dossier third_party à l'aide de PIP.

pip install -r requirements.txt

Ensuite, démarrez le service comme tel:

uvicorn main:app

Définissez une variable d'environnement EmbeddingHost qui pointe vers l'adresse du service d'incorporation

 export EmbeddingHost="http://127.0.0.1:8000/embeddings"

Procéder à des instances de démarrage de la base de données vectorielle

drapeaux

• HTTPADDR: Adresse du service API HTTP
• JOINDADDR: Adresse du service API HTTP du nœud primaire à rejoindre
• nodeid: identifiant unique pour le nœud
• RAFTADDR: Adresse de radeau pour le nœud

Exécuter un seul nœud

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

API

Poste / index

indexer un document

curl --location ' 127.0.0.1:8111/index ' --header ' Content-Type: application/json ' --data ' {"text": "some text"} ' 

Obtenir / rechercher

faire une recherche

curl --location --request GET ' 127.0.0.1:8111/search ' 
--header ' Content-Type: application/json ' 
--data ' {"query": "some text"} ' 

Exécuter le cluster à 3 nœuds

Exécutez les commandes ci-dessous sur différentes machines (au moins différentes instances du projet à simuler)

go run cmd/server/main.go -httpAddr 127.0.0.1:8111 -nodeId 0 -raftAddr 127.0.0.1:9000

Les répliques rejoignent la primaire le 127.0.0.1:9000

go run cmd/server/main.go -httpAddr 127.0.0.1:8112 -nodeId 1 -raftAddr 127.0.0.1:9001 -joinAddr 127.0.0.1:8111

go run cmd/server/main.go -httpAddr 127.0.0.1:8113 -nodeId 2 -raftAddr 127.0.0.1:9002 -joinAddr 127.0.0.1:8111

FAIRE

• Indexage
  • Indexation simultanée à l'aide de goroutines pour traiter les termes
• Récupération
  • Requêtes booléennes
  • Recherche de mémoire simultanée
• Classement
• API
  • Index
  • Suppression de documents
• Stockage
  • Compactage du segment
• Réplication
  • Instantané fonctionne?
• Déploiement
  • Conteneurisation
• Qualité du code
  • Pénitence pour toutes les atrocités que j'ai commises.

* N'aurait pas été possible sans ces ressources:

• Créons un moteur de recherche en texte intégral
• Explorer des memtables
• hraftd
• Hiérarchical Navigable Small Worlds
• Implémentation et évaluation des moteurs de recherche de la recherche d'informations
• Services distribués avec go