LintDB

Lintdb

Lintdb -это многоветарная база данных, предназначенная для Gen AI. Lintdb изначально поддерживает позднее взаимодействие, например, Колберт и Плед.

Ключевые функции

• Многоцелекторная поддержка : LintDB сохраняет несколько векторов на идентификатор документа и вычисляет максимальное сходство между векторами для определения актуальности.
• Сжатие битового уровня : Lintdb полностью реализует сжатие битового плана, сохраняя 128 размерных встроенных вмешательств в размере всего 16 байт.
• Встроенный : Lintdb может быть встроен непосредственно в ваше приложение Python. Не нужно настроить отдельную базу данных.
• Полная поддержка плед и Colbert : Lintdb строится вокруг плед и Колберта.
• Фильтрация : Lintdb поддерживает фильтрацию в любом поле в схеме.

Установка

Lintdb полагается на Openblas для укрепившейся матрицы. Чтобы сгладить процесс установки, мы поддерживаем только Conda.

 conda install lintdb -c deployql -c conda-forge

Использование

Lintdb позволяет легко загружать данные, даже если у вас есть несколько арендаторов.

Ниже показано создание базы данных. Lintdb определяет схему для данной базы данных, которую можно использовать для индексации встроенных, плавающих, струнных и даже дат. Поля могут быть проиндексированы, хранятся или используются в качестве фильтра.

 from lintdb . core import (
  Schema ,
  ColbertField ,
  QuantizerType ,
  Configuration ,
  IndexIVF
)

schema = Schema (
  [
    ColbertField ( 'colbert' , DataType . TENSOR , {
      'dimensions' : 128 ,
      'quantization' : QuantizerType . BINARIZER ,
      "num_centroids" : 32768 ,
      "num_iterations" : 10 ,
    })
  ]
)
config = Configuration ()
index = IndexIVF ( index_path , schema , config )
)

И запрос базы данных. Мы можем запросить любую из полей данных, которые мы индексировали.

 from lintdb . core import (
Query ,
VectorQueryNode
)
for id , query in zip ( data . qids , data . queries ):
  embedding = checkpoint . queryFromText ( query )
e = np . squeeze ( embedding . cpu (). numpy (). astype ( 'float32' ))

query = Query (
  VectorQueryNode (
    TensorFieldValue ( 'colbert' , e )
  )
)
results = index . search ( 0 , query , 10 )
print ( results )

Поддержка модели позднего взаимодействия

Lintdb стремится поддержать позднее взаимодействие и более продвинутые модели поиска.

• Colbertv2 с плед
• XTR

Дорожная карта

Lintdb стремится стать платформой поиска для Gen AI. Мы считаем, что для этого мы должны поддерживать гибкие методы поиска и оценки, сохраняя при этом высокий уровень производительности.

• Повышение производительности и масштабируемости
• Улучшенные тесты
• Поддержите цитадель для масштабируемого позднего взаимодействия
• Поддержка обучаемых адаптеров запросов в конвейере поиска
• Улучшение поддержки произвольных функций поиска и ранжирования
• Поддержать обучаемые функции ранжирования

Сравнение с другими векторными базами данных

Lintdb - одна из двух баз данных, которые поддерживают встроенные встроены токенов. Другим является Веспа.

Встроенные вторжения токена

Веспа

Vespa - это надежная, зрелая поисковая система со многими функциями. Тем не менее, кривая обучения для начала и управления VESPA высока. Со встроенным Lintdb не требуется настройка. conda install lintdb -c deployql и начать работу.

Встроенный

Хрома

Chroma - это встроенная векторная база данных, доступная в Python и JavaScript. Lintdb в настоящее время поддерживает только Python.

Однако, в отличие от Chroma, Lintdb предлагает многоцелевую поддержку.

Документация

Для получения подробной документации по использованию LintDB см. Официальную документацию

Лицензия

Lintdb лицензирован по лицензии Apache 2.0. Смотрите файл лицензии для получения подробной информации.

Мы хотим предложить управляемый сервис

Нам нужна ваша помощь! Если вы хотите управлять Lintdb, протяните руку и дайте нам знать.

Время книги в календаре основателя: https://calendar.app.google/fsymsztvt8sip9xx6