LintDB

Lintdb

LintDB es una base de datos de vectores múltiples destinados a Gen AI. LintDB admite nativamente la interacción tardía como Colbert y Plaid.

Características clave

• Soporte de vectores múltiples : LintDB almacena múltiples vectores por ID de documento y calcula la similitud máxima entre los vectores para determinar la relevancia.
• Compresión de nivel de bit : Lintdb implementa completamente la compresión de bits del cuadrado, almacenando incrustaciones de 128 dimensiones en tan bajo como 16 bytes.
• Incrustado : LintDB se puede incrustar directamente en su aplicación Python. No es necesario configurar una base de datos separada.
• El soporte completo para Plaid y Colbert : Lintdb se construye alrededor de Plaid y Colbert.
• Filtrado : LintDB admite el filtrado en cualquier campo en el esquema.

Instalación

LintDB se basa en OpenBlas para la multiplicación de matriz acerlada. Para suavizar el proceso de instalación, solo admitemos conda.

 conda install lintdb -c deployql -c conda-forge

Uso

LintDB facilita la carga de datos, incluso si tiene múltiples inquilinos.

A continuación muestra la creación de una base de datos. LintDB define un esquema para una base de datos dada que puede usarse para indexar incrustaciones, flotadores, cadenas, incluso fechas. Los campos se pueden indexar, almacenar o usar como filtro.

 from lintdb . core import (
  Schema ,
  ColbertField ,
  QuantizerType ,
  Configuration ,
  IndexIVF
)

schema = Schema (
  [
    ColbertField ( 'colbert' , DataType . TENSOR , {
      'dimensions' : 128 ,
      'quantization' : QuantizerType . BINARIZER ,
      "num_centroids" : 32768 ,
      "num_iterations" : 10 ,
    })
  ]
)
config = Configuration ()
index = IndexIVF ( index_path , schema , config )
)

Y consultar la base de datos. Podemos consultar cualquiera de los campos de datos que indexamos.

 from lintdb . core import (
Query ,
VectorQueryNode
)
for id , query in zip ( data . qids , data . queries ):
  embedding = checkpoint . queryFromText ( query )
e = np . squeeze ( embedding . cpu (). numpy (). astype ( 'float32' ))

query = Query (
  VectorQueryNode (
    TensorFieldValue ( 'colbert' , e )
  )
)
results = index . search ( 0 , query , 10 )
print ( results )

Soporte del modelo de interacción tardía

LintDB tiene como objetivo apoyar la interacción tardía y los modelos de recuperación más avanzados.

• Colbertv2 con cuadros
• XTR

Hoja de ruta

Lintdb tiene como objetivo ser una plataforma de recuperación para la Generación AI. Creemos que para hacer esto, debemos apoyar los métodos de recuperación y puntuación flexibles mientras mantenemos un alto nivel de rendimiento.

• Mejorar el rendimiento y la escalabilidad
• Puntos de referencia mejorados
• Soporte de la ciudadela para la interacción tardía escalable
• Apoye los adaptadores de consultas aprendibles en la tubería de recuperación
• Mejorar el apoyo para las funciones arbitrarias de recuperación y clasificación
• Apoyar las funciones de clasificación aprendibles

Comparación con otras bases de datos de vectores

LintDB es una de las dos bases de datos que admiten incrustaciones de nivel de tope. El otro es Vespa.

Incrustos de nivel de token

Vespa

Vespa es un motor de búsqueda robusto y maduro con muchas características. Sin embargo, la curva de aprendizaje para comenzar y operar Vespa es alta. Con LintDB incrustado, no se requiere configuración. conda install lintdb -c deployql y comience.

Incorporado

Croma

Chroma es una base de datos vectorial integrada disponible en Python y JavaScript. Lintdb actualmente solo es compatible con Python.

Sin embargo, a diferencia de Chroma, LintDB ofrece soporte de múltiples tenientes.

Documentación

Para una documentación detallada sobre el uso de LintDB, consulte la documentación oficial

Licencia

LintDB tiene licencia bajo la licencia Apache 2.0. Consulte el archivo de licencia para obtener más detalles.

Queremos ofrecer un servicio administrado

¡Necesitamos su ayuda! Si desea un LintDB administrado, comuníquese y háganoslo saber.

Hora del libro sobre el calendario del fundador: https://calendar.app.google/fsymsztvt8sip9xx6