lancedb study

LanceDB基准：全文和矢量搜索性能

本博客文章中描述的基准研究代码。

LancedB是开源，嵌入式和开发人员友好的向量数据库。下面列出了有关LancedB的一些关键功能，这些功能使其非常有价值，以及在其GitHub存储库上列出的其他许多关键功能。

• 非常轻巧（无DB服务器可以管理），因为它完全在应用程序中运行
• 从开发到生产极为可扩展
• 能够执行全文搜索（FTS），SQL搜索（通过DataFusion）和ANN矢量搜索的能力
• 多模式数据支持（图像，文本，视频，音频，点云等）
• 零拷贝（通过箭头）具有自动版本的数据使用，以其本机长矛存储格式

此存储库的目的是通过端到端的基准来证明LancedB的全文和矢量搜索功能，我们在其中仔细研究了查询结果和吞吐量。

数据集

用于此演示的数据集是Kaggle的Wine评论数据集，其中包含〜130K葡萄酒的评论以及其他元数据。数据集将转换为ZIP存档，并在此处提供邮政编码以及邮政编码。

比较

研究任何工具的性能是一个挑战，因此为了进行比较，在此存储库中提供了Elasticsearch Workflow。 Elasticsearch是一种受欢迎的基于Lucene的全文和矢量搜索引擎，其使用定期用于全文（如今，矢量搜索），因此这使其成为将LanceNCANCE与Lancectb相比的有意义的工具。

设置

通过requirements.txt将依赖项安装在虚拟环境中。

 # Setup the environment for the first time
python -m venv .venv  # python -> python 3.11+

# Activate the environment (for subsequent runs)
source .venv/bin/activate

python -m pip install -r requirements.txt

基准结果

笔记

• 下面的数字来自2022 M2 MacBook Pro，带有16GB RAM
• 搜索空间包括LancedB或Elasticsearch中的129,971个葡萄酒评论描述
• 查询是从fts和向量搜索的10个示例查询列表中随机取样的，并以10、100、1000和10000的随机查询运行
• 嵌入的矢量维度为384（ BAAI/bge-small-en-v1.5 ）
• Elasticsearch中的向量搜索基于Lucene-HNSW，而LancedB中的矢量搜索基于IVF-PQ
• 矢量搜索的距离度量是两个DB的余弦相似性
• 报告的运行时间（计算得出的QP）平均超过3次

10,000个随机查询的结果摘要：

案件	Elasticsearch（QPS）	lancedb（QPS）
FTS：串行	399.8	468.9
FTS：并发	1539.0	528.9
向量搜索：串行	11.9	54.0
向量搜索：并发	50.7	71.6

讨论

• 通过他们的Python客户端，LanceDB显然比Elasticsearch的QPS（每秒查询）的速度快（QPS），并且在同时使用多个线程时，全文搜索用例的速度也更快。
• Elasticsearch仅适用于FTS用例，特别是在并发方案中可能是因为它使用了非阻滞异步客户端（与LanceDB不同）。
• 将来，如果有一个异步（非阻止）Python客户端可用于LanceDB，则预计FTS的LanceDB的吞吐量将更高。

串行基准

下面显示的串行基准涉及在Python中依次运行的查询。这并不代表生产中现实的用例，但在每种情况下都可以理解基础搜索引擎的性能（Lucene for Elasticsearch和Tantivy for LanceNCB）。

有关此信息的更多详细信息将在博客文章中讨论。

全文搜索（FTS）

查询	Elasticsearch（SEC）	Elasticsearch（QPS）	LancedB（SEC）	lancedb（QPS）
10	0.0516	193.8	0.0518	193.0
100	0.2589	386.3	0.2383	419.7
1000	2.5748	388.6	2.1759	459.3
10000	25.0318	399.8	21.3196	468.9

向量搜索

查询	Elasticsearch（SEC）	Elasticsearch（QPS）	LancedB（SEC）	lancedb（QPS）
10	0.8087	12.4	0.2158	46.3
100	7.6020	13.1	1.6803	59.5
1000	84.0086	11.9	16.7948	59.5
10000	842.9494	11.9	185.0582	54.0

并发基准

并发基准旨在为LancedB或Elasticsearch复制一个现实的用例 - 在同一时间到达多个查询，并且DB顶部的REST API必须处理异步请求。

笔记

• Elasticsearch的并发是通过其异步客户端实现的
• LancedB中的并发是通过Python在4个工作线程上的multiprocessing库来实现的（较高数量的线程导致性能较慢）。

全文搜索（FTS）

查询	Elasticsearch（SEC）	Elasticsearch（QPS）	LancedB（SEC）	lancedb（QPS）
10	0.0350	285.7	0.0284	351.4
100	0.1243	804.1	0.2049	487.8
1000	0.6972	1434.5	1.8980	526.8
10000	6.4948	1539.0	18.9136	528.9

向量搜索

查询	Elasticsearch（SEC）	Elasticsearch（QPS）	LancedB，4个线程（SEC）	LancedB，4个线程（QPS）
10	0.2896	34.5	0.1409	71.0
100	2.5275	39.6	1.3367	74.8
1000	20.4268	48.9	13.3158	75.1
10000	197.2314	50.7	139.6330	71.6