arcmindvector

Arcmind vetor db

O DB Vector Arcmind é um banco de dados de pesquisa de similaridade vetorial de alto desempenho, flexível e ergonômico para o computador da Internet. Ele foi projetado para ser um banco de dados de pesquisa de similaridade vetorial de uso geral que pode ser usado para uma ampla gama de aplicativos movidos a IA, incluindo sistemas de recomendação, mecanismos de pesquisa, geração aumentada de recuperação (RAG) e memória de longo prazo de agentes autônomos de IA como o Arcmind AI.

Arquitetura

Diagrama de fluxo de sequência

Pré -requisitos

• Instale a Rust Toolchain usando Rustup
  Segue https://www.rust-lang.org/tools/install
• Instale a carga de carga

 cargo install cargo-audit

• Instale o DFX SDK
  Siga https://github.com/dfinity/sdk

Início rápido

Se você deseja testar seu projeto localmente, pode usar os seguintes comandos:

 # Starts the replica, running in the background
dfx start --background

# Deploys controller and brain canisters to the local replica
# Setup the environment variable: CONTROLLER_PRINCIPAL using using > dfx identity get-principal

./scripts/provision.sh

O script de provisão implantará um recipiente arcmindvectordb .

API

Veja sincero para a API completa.

Interagindo com os reciações

Os scripts de shell de amostra são fornecidos para interagir com os carteiros no diretório de interação. O conteúdo de incorporação de amostra e seus vetores de incorporação são fornecidos no diretório de incorporação.

Adicione um vetor ao VectorStore

Aberto e editar:

./interact/add_vector.sh

Tente adicionar vários vetores de tópicos diferentes ao VectorStore.

Pesquise no VectorStore

Em seguida, procure vetores semelhantes usando um dos vetores que você adicionou como entrada. Ele deve retornar o mesmo vetor que o vetor mais semelhante e outros vetores semelhantes do mesmo tópico. Veja como ele pode entender os significados semânticos dos vetores com muitas dimensões.

Aberto e editar:

./interact/search_vector.sh

Observe que o mesmo modelo de incorporação deve ser usado para adicionar e pesquisar vetores. Recomenda -se que você use o mesmo modelo de incorporação em um único vetortore para obter resultados consistentes.

As incorporações em / incorporadas / são geradas usando o modelo OpenAI-Text-Encedding-Ada-002 com sua API de incorporação

Configurando o github Action CI / CD

Obtenha a string usando os comandos abaixo e coloque -o nos segredos do GitHub. Nota: Substitua o padrão pelo nome da identidade que você precisa.

Dfx_entity

 awk 'NF {sub(/r/, ""); printf "%s\r\n",$0;}' ~/.config/dfx/identity/default/identity.pem

Dfx_wallets

 cat ~/.config/dfx/identity/default/wallets.json

Roteiro

• Back -end - Pesquise e implemente o recipiente primário como vetorial de longo prazo com métrica a distância dos vizinhos mais próximos, incorporação da API e indexação
• Back -end - integrar -se ao agente autônomo AI AI para memória de longo prazo
• DOC - Adicione documentação para a API VectorStore
• Back -end - Modelos de aprendizado de máquina auto -hospedados para gerar texto (PNL), imagem e incorporação de áudio
• Back -end - baldes de armazenamento escalonáveis ​​para dados vetoriais em larga escala além do limite de armazenamento do recipiente

Licença

Consulte o arquivo de licença para obter direitos e limitações de licença (MIT).

Contribuindo

Consulte Contribuindo.md para obter detalhes sobre como contribuir para este projeto.

Autores

Código e arquitetura: Henry Chan, [email protected], Twitter: @kinwo

Referências

• Computador de Internet
• Cloudflare - O que é um banco de dados vetorial?
• Pano
• Pesquisa de similaridade vetorial de código aberto para postgres
• Spotify Irrit Library - aproximar os vizinhos mais próximos em C ++/Python
• O que é pesquisa de similaridade
• Pesquisa semântica: medindo o significado de Jaccard para Bert
• Uma biblioteca de ferrugem de árvores ergonômicas de alto desempenho, flexível e ergonômica
• Árvore kd
• Curso Depplearing.ai - Construindo aplicativos com bancos de dados vetoriais