tiny_vectordb

Tiny Vector Database

Um banco de dados vetorial leve projetado para pequenos projetos.

Características

• Compilação de just-in-time (JIT) para otimizar as operações vetoriais, definindo o tamanho do vetor no horário de compilação.
• Acelera as operações vetoriais usando o eigen.
• Processos vetores usando apenas listas Python, sem necessidade de formatos adicionais de dados de terceiros.
• Armazenou vetores como strings codificadas base-64 em um banco de dados SQLite.

Desempenho
Mais de 10x mais rápido que as operações vetoriais baseadas em Numpy.

Status de desenvolvimento

Atualmente, é compatível com G ++ ou Clang ++.
Pode ser necessário modificar o parâmetro compile_config na inicialização VectorDatabase para injetar seus comandos de compilação.
Para fazê -lo funcionar com outro compilador, pode ser necessário alterar o módulo tiny_vectordb.jit .

Instalação

pip install tiny_vectordb

É bom ir!

Desinstalação

O pacote emitirá alguns arquivos compilados no diretório de origem, que podem não ser removidos automaticamente usando pip uninstall ; portanto, você precisa executar o seguinte comando manualmente se desejar desinstalar o pacote penteado.

python -c " import tiny_vectordb; tiny_vectordb.cleanup() "

Depois disso, você pode desinstalar com segurança o pacote com:

pip uninstall tiny_vectordb

Uso:

 from tiny_vectordb import VectorDatabase

collection_configs = [
    {
        "name" : "hello" ,
        "dimension" : 256 ,
    },
    {
        "name" : "world" ,
        "dimension" : 1000 ,
    }
]
database = VectorDatabase ( "test.db" , collection_configs )
collection = database [ "hello" ]

# add vectors
collection . setBlock (
    [ "id1" , "id2" ],             # ids
    [[ 1 ] * 256 , [ 2 ] * 256 ]      # vectors
)

# search for nearest vectors
search_ids , search_scores = collection . search ([ 1.9 ] * 256 )  

Para mais uso, consulte example.py .

---

Nota de design:

1. Nenhuma matriz Numpy é usada no banco de dados, porque eu quero que seja o mais leve possível, e listas de números são EAiser para ser convertido em JSON para comunicação com solicitações HTTP.

2. Os dados são sempre armazenados em memória contígua para garantir o melhor desempenho de pesquisa.
   Portanto, a adição e a exclusão são preferidas em lotes à medida que eles abordam a realocação da memória.
   Aqui estão algumas funções úteis para operações em lote:

 class VectorCollection ( Generic [ NumVar ]):
    def addBlock ( self , ids : list [ str ], vectors : list [ list [ NumVar ]]) -> None :
    def setBlock ( self , ids : list [ str ], vectors : list [ list [ NumVar ]]) -> None :
    def deleteBlock ( self , ids : list [ str ]) -> None :
    def getBlock ( self , ids : list [ str ]) -> list [ list [ NumVar ]]: