arcmindvector

ArcMind Vector DB

ArcMind Vector DB est une base de données de recherche de similitude vectorielle haute performance, flexible et ergonomique pour l'ordinateur Internet. Il est conçu pour être une base de données de recherche de similitude vectorielle à usage général qui peut être utilisé pour une large gamme d'applications alimentées par l'IA, y compris les systèmes de recommandation, les moteurs de recherche, la génération augmentée (RAG) de récupération et la mémoire à long terme des agents d'IA autonomes comme ArcMind AI.

Architecture

Diagramme d'écoulement de séquence

Condition préalable

• Installez la chaîne d'outils de rouille à l'aide de rustup
  Suit https://www.rust-lang.org/tools/install
• Installer la cargaison

 cargo install cargo-audit

• Installer DFX SDK
  Suivez https://github.com/dfinity/sdk

Démarrage rapide

Si vous souhaitez tester votre projet localement, vous pouvez utiliser les commandes suivantes:

 # Starts the replica, running in the background
dfx start --background

# Deploys controller and brain canisters to the local replica
# Setup the environment variable: CONTROLLER_PRINCIPAL using using > dfx identity get-principal

./scripts/provision.sh

Le script de provision déploiera une canister arcmindvectordb .

API

Voir Candid pour l'API complète.

Interagir avec les bidons

Des échantillons de scripts de coquille sont fournis pour interagir avec les canistères dans le répertoire Interact. Des échantillons d'incorporation de contenu et leurs vecteurs d'incorporation sont fournis dans le répertoire des incorporations.

Ajouter un vecteur au vectorstore

Ouvert et modifier:

./interact/add_vector.sh

Essayez d'ajouter plusieurs vecteurs de différents sujets au vectorstore.

Recherchez le Vectorstore

Recherchez ensuite des vecteurs similaires en utilisant l'un des vecteurs que vous avez ajoutés en entrée. Il doit renvoyer le même vecteur que le vecteur le plus similaire et d'autres vecteurs similaires du même sujet. Voyez comment il peut comprendre les significations sémantiques des vecteurs avec de nombreuses dimensions.

Ouvert et modifier:

./interact/search_vector.sh

Notez que le même modèle d'intégration doit être utilisé pour ajouter et rechercher des vecteurs. Il est recommandé d'utiliser le même modèle d'incorporation dans un seul VectorStore pour des résultats cohérents.

Les intégres dans / embeddings / sont générés à l'aide du modèle Openai Text-Embedding-ADA-002 avec son API d'intégration

Configuration de GitHub Action CI / CD

Obtenez la chaîne en utilisant les commandes ci-dessous, puis mettez-la dans GitHub Secrets. Remarque: Remplacez la valeur par défaut par le nom d'identité dont vous avez besoin.

Dfx_identity

 awk 'NF {sub(/r/, ""); printf "%s\r\n",$0;}' ~/.config/dfx/identity/default/identity.pem

DFX_WALLETS

 cat ~/.config/dfx/identity/default/wallets.json

Feuille de route

• Backend - Recherche et mise en œuvre de la cartouche primaire en tant que VectorStore à long terme avec la métrique de distance des voisins les plus proches, l'intégration de l'API et l'indexation
• Backend - Intégrer avec ArcMind AI Agent autonome pour la mémoire à long terme
• Doc - Ajouter une documentation pour l'API VectorStore
• Backend - Modèles d'apprentissage automatique auto-hébergées pour la génération de texte (NLP), Image et Audio incorporces
• Backend - seaux de stockage évolutifs pour les données vectorielles à grande échelle au-delà de la limite de stockage de la cartouche

Licence

Voir le dossier de licence pour les droits et limitations de licence (MIT).

Contributif

Voir contribution.md pour plus de détails sur la façon de contribuer à ce projet.

Auteurs

Code et architecture: Henry Chan, [email protected], Twitter: @kinwo

Références

• Ordinateur Internet
• CloudFlare - Qu'est-ce qu'une base de données vectorielle?
• CHIFFON
• Recherche de similitude vectorielle open source pour Postgres
• Bibliothèque Spotify ennui - les voisins les plus proches en C ++ / Python
• Qu'est-ce que la recherche de similitude
• Recherche sémantique: mesurer le sens de Jaccard à Bert
• Une bibliothèque de rouille arbre KD haute performance, flexible et ergonomique
• Kd arbre
• Depplearing.ai Course - Construire des applications avec des bases de données vectorielles