arcmindvector

ArcMind Vector db

ArcMind Vector DB ist eine hochleistungsfähige, flexible und ergonomische Vektor-Ähnlichkeitssuchdatenbank für den Internetcomputer. Es ist eine allgemeine Suchdatenbank für Vektor-Ähnlichkeitssuche entwickelt, die für eine breite Palette von AI-betriebenen Anwendungen verwendet werden kann, darunter Empfehlungssysteme, Suchmaschinen, Abrufvergrößerungserzeugung (LAB) und langfristiges Gedächtnis autonomer KI-Agenten wie Arcmind AI.

Architektur

Sequenzflussdiagramm

Voraussetzungen

• Installieren Sie Rust Toolchain mit Rustup
  Folgt https://www.rust-lang.org/tools/install
• Ladungsprüfung einbauen

 cargo install cargo-audit

• Installieren Sie DFX SDK
  Folgen Sie https://github.com/dfinity/sdk

Schneller Start

Wenn Sie Ihr Projekt lokal testen möchten, können Sie die folgenden Befehle verwenden:

 # Starts the replica, running in the background
dfx start --background

# Deploys controller and brain canisters to the local replica
# Setup the environment variable: CONTROLLER_PRINCIPAL using using > dfx identity get-principal

./scripts/provision.sh

Das Bereitstellungsskript bereitstellt einen arcmindvectordb -Kanister.

API

Siehe Candid für die vollständige API.

Mit den Kanistern interagieren

Beispiel -Shell -Skripte werden bereitgestellt, um mit den Kanistern im Interact -Verzeichnis zu interagieren. Probeneinbettungsinhalte und ihre Einbettungsvektoren werden im Verzeichnis des Einbettungsdings bereitgestellt.

Fügen Sie dem Vectorstore einen Vektor hinzu

Öffnen und bearbeiten:

./interact/add_vector.sh

Fügen Sie der Vectorstore zu mehreren Vektoren unterschiedlicher Themen hinzu.

Suchen Sie den Vectorstore

Suchen Sie dann nach ähnlichen Vektoren, indem Sie einen der Vektoren verwenden, die Sie als Eingabe hinzugefügt haben. Es sollte denselben Vektor wie der ähnlichste Vektor und andere ähnliche Vektoren desselben Themas zurückgeben. Sehen Sie, wie es die semantischen Bedeutungen der Vektoren mit vielen Dimensionen verstehen kann.

Öffnen und bearbeiten:

./interact/search_vector.sh

Beachten Sie, dass das gleiche Einbettungsmodell zum Hinzufügen und Durchsuchen von Vektoren verwendet werden muss. Es wird empfohlen, dass Sie dasselbe Einbettungsmodell in einer einzelnen Vektorstore für konsistente Ergebnisse verwenden.

Die Einbettungen in / Einbettung / werden unter Verwendung des OpenAI-Text-Embedding-ada-ada-002-Modells mit seiner Einbettungs-API erzeugt

Einrichten von GitHub -Aktion CI / CD

Holen Sie sich die Zeichenfolge mit den folgenden Befehlen und geben Sie sie in Github -Geheimnisse ein. Hinweis: Ersetzen Sie die Standardeinstellung durch den Identitätsnamen, den Sie benötigen.

Dfx_identity

 awk 'NF {sub(/r/, ""); printf "%s\r\n",$0;}' ~/.config/dfx/identity/default/identity.pem

Dfx_wallets

 cat ~/.config/dfx/identity/default/wallets.json

Roadmap

• Backend - Forschung und Implementierung des Primärkanister als langfristige Vektorstore mit der nächsten Nachbarn -Distanzmetrik, der Einbettung von API und der Indexierung
• Backend - Integrieren
• DOC - Dokumentation für die VectorStore -API hinzufügen
• Backend - selbst gehostete maschinelle Lernmodelle zum Generieren von Text (NLP), Bild und Audio -Einbettungen
• Backend - skalierbare Speicherkleber für groß angelegte Vektordaten jenseits der Kanisterspeichergrenze

Lizenz

Siehe die Lizenzdatei für Lizenzrechte und Einschränkungen (MIT).

Beitragen

Weitere Informationen zum Beitrag zu diesem Projekt finden Sie unter Beitrags.md.

Autoren

Code & Architektur: Henry Chan, [email protected], Twitter: @kinwo

Referenzen

• Internetcomputer
• CloudFlare - Was ist eine Vektordatenbank?
• LAPPEN
• Open-Source Vector-Ähnlichkeitssuche nach Postgres
• Spotify -Nervenbibliothek - ungefähr nächste Nachbarn in C ++/Python
• Was ist Ähnlichkeitssuche
• Semantische Suche: Messung der Bedeutung von Jaccard nach Bert
• Eine leistungsstarke, flexible, ergonomische KD-Baumrostbibliothek
• KD -Baum
• Depplearing.ai -Kurs - Erstellen von Anwendungen mit Vektordatenbanken