arcmindvector

Arcmind vector db

ArcMind Vector DB es una base de datos de búsqueda de similitud vectorial de alto rendimiento, flexible y ergonómica para la computadora de Internet. Está diseñado para ser una base de datos de búsqueda de similitud vectorial de uso general que puede usarse para una amplia gama de aplicaciones con IA, incluidos sistemas de recomendación, motores de búsqueda, generación de generación de recuperación (RAG) y memoria a largo plazo de agentes de IA autónomos como ArcMind AI.

Arquitectura

Diagrama de flujo de secuencia

Requisitos previos

• Instale la cadena de herramientas de óxido usando Rustup
  Sigue https://www.rust-lang.org/tools/install
• Instale el audit de carga

 cargo install cargo-audit

• Instalar DFX SDK
  Sigue https://github.com/dfinity/sdk

Comienzo rápido

Si desea probar su proyecto localmente, puede usar los siguientes comandos:

 # Starts the replica, running in the background
dfx start --background

# Deploys controller and brain canisters to the local replica
# Setup the environment variable: CONTROLLER_PRINCIPAL using using > dfx identity get-principal

./scripts/provision.sh

El script de provisión implementará un bote arcmindvectordb .

API

Vea Candid para la API completa.

Interactuando con los botes

Se proporcionan scripts de shell de muestra para interactuar con los botes en el directorio Interact. El contenido de incrustaciones de muestra y sus vectores de incrustación se proporcionan en el directorio de incrustaciones.

Agregue un vector a VectorStore

Abrir y editar:

./interact/add_vector.sh

Intente agregar múltiples vectores de diferentes temas a VectorStore.

Busque en VectorStore

Luego busque vectores similares utilizando uno de los vectores que agregó como entrada. Debería devolver el mismo vector que el vector más similar y otros vectores similares del mismo tema. Vea cómo puede comprender los significados semánticos de los vectores con muchas dimensiones.

Abrir y editar:

./interact/search_vector.sh

Tenga en cuenta que el mismo modelo de incrustación debe usarse para agregar y buscar vectores. Se recomienda que use el mismo modelo de incrustación en una sola tienda de vectores para obtener resultados consistentes.

Las incrustaciones en / incrustaciones / se generan utilizando el modelo OpenAI Text-Embedding-ADA-002 con su API de incrustación

Configuración de Github Action CI / CD

Obtenga la cadena usando los comandos a continuación y luego póngala en los secretos de GitHub. Nota: Reemplace el valor predeterminado por el nombre de identidad que necesita.

Dfx_ididentity

 awk 'NF {sub(/r/, ""); printf "%s\r\n",$0;}' ~/.config/dfx/identity/default/identity.pem

Dfx_wallets

 cat ~/.config/dfx/identity/default/wallets.json

Hoja de ruta

• Back -end: investiga e implementa el bote principal como una tienda de vectores a largo plazo con la métrica de distancia de los vecinos más cercanos, la incrustación de API e indexación
• Backend: integrarse con el agente autónomo de Arcmind AI para la memoria a largo plazo
• DOC - Agregar documentación para la API VectorStore
• Backend - Modelos de aprendizaje automático autohostado para generar texto (PNL), insertos de imagen y audio
• Backend: cubos de almacenamiento escalable para datos vectoriales a gran escala más allá del límite de almacenamiento de botes

Licencia

Consulte el archivo de licencia para los derechos y limitaciones de la licencia (MIT).

Que contribuye

Consulte Contriping.MD para obtener detalles sobre cómo contribuir a este proyecto.

Autores

Código y arquitectura: Henry Chan, [email protected], Twitter: @kinwo

Referencias

• Computadora de Internet
• CloudFlare: ¿Qué es una base de datos vectorial?
• TRAPO
• Búsqueda de similitud vectorial de código abierto de Postgres
• Spotify Mill Library - Vecinos más cercanos en C ++/Python
• ¿Qué es la búsqueda de similitud?
• Búsqueda semántica: medir el significado de Jaccard a Bert
• Una biblioteca de óxido KD de alto rendimiento, flexible y ergonómico KD
• Árbol kd
• Curso Depplearing.AI - Construcción de aplicaciones con bases de datos vectoriales