LintDB

Lintdb

O LintDB é um banco de dados multi-vetor destinado à Gen AI. O Lintdb suporta nativamente a interação tardia como Colbert e Plaid.

Principais recursos

• Suporte a vários vetores : o LintDB armazena vários vetores por ID do documento e calcula a similaridade máxima entre os vetores para determinar a relevância.
• Compressão no nível de bit : o Lintdb implementa totalmente a compactação de bits da xadrez, armazenando 128 incorporações de dimensão em até 16 bytes.
• Incorporado : o lintdb pode ser incorporado diretamente ao seu aplicativo Python. Não há necessidade de configurar um banco de dados separado.
• Suporte total para Plaid e Colbert : Lintdb é construído em torno da xadrez e Colbert.
• Filtragem : Lintdb suporta filtragem em qualquer campo no esquema.

Instalação

O LintDB conta com o OpenBlas para multiplicação de matriz acertada. Para suavizar o processo de instalação, suportamos apenas o CONDA.

 conda install lintdb -c deployql -c conda-forge

Uso

O LintDB facilita o upload de dados, mesmo se você tiver vários inquilinos.

Abaixo mostra a criação de um banco de dados. O Lintdb define um esquema para um determinado banco de dados que pode ser usado para indexar incorporações, carros alegóricos, strings e até datas. Os campos podem ser indexados, armazenados ou usados ​​como filtro.

 from lintdb . core import (
  Schema ,
  ColbertField ,
  QuantizerType ,
  Configuration ,
  IndexIVF
)

schema = Schema (
  [
    ColbertField ( 'colbert' , DataType . TENSOR , {
      'dimensions' : 128 ,
      'quantization' : QuantizerType . BINARIZER ,
      "num_centroids" : 32768 ,
      "num_iterations" : 10 ,
    })
  ]
)
config = Configuration ()
index = IndexIVF ( index_path , schema , config )
)

E consultar o banco de dados. Podemos consultar qualquer um dos campos de dados que indexamos.

 from lintdb . core import (
Query ,
VectorQueryNode
)
for id , query in zip ( data . qids , data . queries ):
  embedding = checkpoint . queryFromText ( query )
e = np . squeeze ( embedding . cpu (). numpy (). astype ( 'float32' ))

query = Query (
  VectorQueryNode (
    TensorFieldValue ( 'colbert' , e )
  )
)
results = index . search ( 0 , query , 10 )
print ( results )

Suporte ao modelo de interação tardia

O LintDB visa suportar a interação tardia e modelos de recuperação mais avançados.

• Colbertv2 com xadrez
• Xtr

Roteiro

O Lintdb pretende ser uma plataforma de recuperação para a Gen AI. Acreditamos que, para fazer isso, devemos apoiar métodos flexíveis de recuperação e pontuação, mantendo um alto nível de desempenho.

• Melhorando o desempenho e a escalabilidade
• Benchmarks aprimorados
• Apoie a Cidadela para interação tardia escalável
• Apoie os adaptadores de consulta aprendidos no pipeline de recuperação
• Aumente o suporte para funções de recuperação e classificação arbitrárias
• Apoie funções de classificação aprendidas

Comparação com outros bancos de dados de vetores

O LintDB é um dos dois bancos de dados que suportam incorporações de nível de token. O outro sendo Vespa.

INCLIMAÇÕES DE NÍVEL DE TOKEN

Vespa

A Vespa é um mecanismo de pesquisa robusto e maduro, com muitos recursos. No entanto, a curva de aprendizado para começar e operar a Vespa é alta. Com o lintdb incorporado, não é necessário configurar. conda install lintdb -c deployql e inicie.

Integrado

Chroma

O Chroma é um banco de dados vetorial incorporado disponível em Python e JavaScript. Atualmente, o Lintdb suporta apenas o Python.

No entanto, diferentemente do Chroma, o LintDB oferece suporte de multi-literidade.

Documentação

Para uma documentação detalhada sobre o uso do LintDB, consulte a documentação oficial

Licença

O LintDB está licenciado sob a licença Apache 2.0. Consulte o arquivo de licença para obter detalhes.

Queremos oferecer um serviço gerenciado

Precisamos da sua ajuda! Se você deseja um lintdb gerenciado, entre em contato e nos informe.

Hora do livro no calendário do fundador: https://calendar.app.google/fsymsztvt8sip9xx6