HyperVectorDB

HyperVectordB

O HyperVectordB é um banco de dados de vetor local construído em C# que suporta várias medidas de distância/similaridade. Ele foi projetado para armazenar vetores e documentos associados e executar consultas vetoriais de alto desempenho. Este projeto suporta a similaridade de cosseno, a dissimilaridade de Jaccard, bem como as distâncias euclidianas, Manhattan, Chebyshev e Canberra. Se você está procurando uma biblioteca Python para fazer a mesma coisa, confira John Dagdelen https://github.com/jdagdelen/hyperdb

Instalação

 dotnet add package HyperVectorDB

Recursos (a serem atualizados)

• Cache de consulta/resposta : atualmente suportado apenas para consultas de similaridade de cosseno. Esse recurso permite que o banco de dados cache os resultados de uma consulta para um determinado vetor, para que, na próxima vez que o mesmo vetor seja consultado, os resultados serão retornados imediatamente. Esse recurso é útil para aplicativos que requerem consultas frequentes no mesmo vetor.
• Invalidação do cache : a invalidação do cache é suportada para consultas de similaridade de cosseno. O cache é invalidado quando um novo vetor é adicionado ao banco de dados ou quando um vetor é removido do banco de dados.
• Funções de consulta : O banco de dados suporta vários tipos de consultas para medidas de similaridade e distância:
  • Similaridade de cosseno : esta função executa uma consulta de similaridade de cosseno no banco de dados.
  • Dissimilaridade Jaccard : Esta função executa uma consulta de dissimilaridade Jaccard no banco de dados.
  • Distância euclidiana : esta função executa uma consulta de distância euclidiana no banco de dados.
  • Distância de Manhattan : Esta função executa uma consulta de distância de Manhattan no banco de dados.
  • Chebyshev Distância : Esta função executa uma consulta de distância Chebyshev no banco de dados.
  • Distância de Canberra : Esta função executa uma consulta de distância de Canberra no banco de dados.
• Paralelização automática : Quando configurado, o banco de dados se dividirá automaticamente em vários arquivos e regiões de memória para aproveitar ao máximo o ASYNC IO na loja e multithreading na consulta.
• Compressão de dados : Quando salvo no disco, o banco de dados usa a compactação LZ4

Cada função de consulta retorna os documentos principais k e seus valores correspondentes de similaridade ou distância. O valor de k é configurável e padrão para 5.

Uso

Observe que este projeto está atualmente em sua fase de desenvolvimento. Algumas funções ainda precisam ser testadas e o cache para alguns tipos de consulta ainda não foi implementado.

Exemplo de uso em breve

Contribuindo

Contribuições são bem -vindas. Sinta -se à vontade para bifurcar o projeto, fazer alterações e abrir uma solicitação de tração. Certifique -se de testar todas as alterações minuciosamente.

Licença

Este projeto é de código aberto. Liberado sob a licença do MIT. Consulte o arquivo de licença para obter mais informações.

Observe que parte do código deste projeto (Math.CS) é baseado na biblioteca ACORD.MATH, que é divulgada sob a licença pública geral da GNU V2.1 License. O TFIDF é do projeto de Kory Becker localizado em https://github.com/primaryobjects/tfidf

Sobre este projeto e seu autor e por que veio a ser

Começou comigo voltando à intelegência artificial e querendo fazê -lo usando C#. Não consegui encontrar nada que obtenha minhas necessidades de um banco de dados vetorial. Em seguida, John Dagdelen montou esta loja de vetores em Python https://github.com/jdagdelen/hyperdb, foi Faily Basic na época postado sem essas linhas de código, então decidi tentar usar o GPT para portá -lo para C#. Isso foi um pouco bem -sucedido, mas não funcionou exatamente conforme necessário, então este projeto nasceu.