Скачать lancedb study - Загрузка исходного кода lancedb study

lancedb study

Другой исходный код

1.0.0

Скачать

LancedB Bendchmark: полнотекстовый и векторный поиск

Код для изучения эталона описан в этом сообщении в блоге.

LANCEDB-это векторная база данных с открытым исходным кодом, встраиваемой и удобной для разработчиков. Некоторые ключевые функции о LancedB, которые делают его чрезвычайно ценным, перечислены ниже, среди многих других, перечисленных в их репо Github.

Невероятно легкий (без серверов DB для управления), потому что он работает полностью в процессе приложения
Чрезвычайно масштабируемый от разработки до производства
Возможность выполнять полнотекстовый поиск (FTS), SQL Search (через DataFusion) и Ann Vector Search
Многомодальная поддержка данных (изображения, текст, видео, аудио, точечные облака и т. Д.)
Zero-Copy (через стрелку) с автоматической версией данных в его собственном формате хранения Lance

Цель этого репо состоит в том, чтобы продемонстрировать полнотекстовые и векторные функции поиска LanceDB через сквозное эталон, в котором мы тщательно изучаем результаты запроса и пропускную способность.

Набор данных

Набор данных, используемый для этой демонстрации, представляет собой набор данных обзоров вина от Kaggle, содержащий ~ 130 тыс. Обзоры на винах, а также другие метаданные. Набор данных преобразуется в архив ZIP, и код для этого, а также данные ZIP предоставляется здесь для справки.

Сравнение

Изучение производительности любого инструмента в изоляции является проблемой, поэтому для сравнения в этом репо предоставляется рабочий процесс Elasticsearch. Elasticsearch-это популярная полнотекстовая и векторная поисковая система, основанная на Lucene и вектор, использование которой регулярно оправдано для полнотекстового (и в наши дни, векторный поиск), так что это делает его значимым инструментом для сравнения Lancenceb.

Настраивать

Установите зависимости в виртуальной среде с помощью requirements.txt .

 # Setup the environment for the first time
python -m venv .venv  # python -> python 3.11+

# Activate the environment (for subsequent runs)
source .venv/bin/activate

python -m pip install -r requirements.txt

Контрольные результаты

Примечание

Числа ниже взяты из 2022 M2 MacBook Pro с 16 ГБ ОЗУ
Пространство поиска состоит из 129 971 Описания вина в Lancedb или Elasticsearch
Запросы случайным образом отображаются из списка из 10 примеров запросов для FTS и Vector Search, и запускаются на 10, 100, 1000 и 10000 случайных запросов
Векторная размерность для вторжений составляет 384 ( BAAI/bge-small-en-v1.5 )
Векторный поиск в Elasticsearch основан на Lucene-HNSW, а в LancedB основан на ЭКО-PQ
Метрика расстояния для поиска вектора является сходством косинуса в любом БД
Сообщалось о времени пробега (и вычисленных QP) в среднем более 3 прогонов

Сводка результатов для 10 000 случайных запросов:

Случай	Elasticsearch (QPS)	LancedB (QPS)
FTS: сериал	399,8	468.9
FTS: одновременно	1539,0	528.9
Векторный поиск: сериал	11,9	54,0
Векторный поиск: одновременный	50,7	71.6

Дискуссия

С помощью своих клиентов Python LancedB явно быстрее, чем Elasticsearch с точки зрения QP (запросы в секунду) для варианта использования векторного поиска, а также быстрее для полнотекстового поиска при одновременном использовании нескольких потоков.
Elasticsearch более быстрее только для использования FTS, в частности, в одновременном сценарии, вероятно, потому что он использует не блокирующего асинхрового клиента (в отличие от LancedB, на данный момент).
В будущем, если для LANCB Async (не блокирующий) клиент Python доступен для LancEdB, ожидается, что пропускная способность LANCEDB для FTS будет еще выше.

Серийный эталон

Последовательный эталон, показанный ниже, включает в себя последовательно запуска запросов в синхронизации для цикла в Python. Это не является репрезентативным для реалистичного варианта использования в производстве, но полезно для понимания производительности базовых поисковых систем в каждом случае (Lucene для Elasticsearch и Tantivy для LanceDB).

Более подробная информация об этом будет обсуждаться в сообщении в блоге.

Полнотекстовый поиск (FTS)

Запросы	Elasticsearch (Sec)	Elasticsearch (QPS)	Lancedb (sec)	LancedB (QPS)
10	0,0516	193.8	0,0518	193.0
100	0,2589	386.3	0,2383	419,7
1000	2.5748	388.6	2.1759	459,3
10000	25.0318	399,8	21.3196	468.9

Векторный поиск

Запросы	Elasticsearch (Sec)	Elasticsearch (QPS)	Lancedb (sec)	LancedB (QPS)
10	0,8087	12.4	0,2158	46.3
100	7.6020	13.1	1.6803	59,5
1000	84.0086	11,9	16.7948	59,5
10000	842.9494	11,9	185.0582	54,0

Одновременный эталон

Одновременный эталон предназначен для воспроизведения реалистичного варианта использования для LanceDB или Elasticsearch - где несколько запросов поступают одновременно, а API остальных на вершине БД должен обрабатывать асинхронные запросы.

Примечание

Параллелизм в Elasticsearch достигается благодаря его асинхронному клиенту
Параллелизм в LancedB достигается с помощью multiprocessing библиотеки Python на 4 рабочих потоках (большее количество потоков привело к более медленной производительности).