MSVBASE

MSVBase

什么是新的

• 新的研究论文SPFRESH：十亿个矢量搜索的就地更新 -发表在SOSP 2023中
• 新研究论文VBASE：通过放松单调性统一在线矢量相似性搜索和关系查询 -发表于2023年OSDI

什么是msvbase

MSVBASE是一个新系统，能够有效地服务复杂的在线查询，既涉及近似相似性搜索，又涉及标量和向量数据集上的关系运算符。 MSVBase构建了统一的查询执行引擎，以支持标量和向量数据的广泛查询，并显示出卓越的查询性能和准确性。它将高维矢量指数集成到具有最小代码修改后的oftgresql中。

Quickstart

克隆和补丁

 git clone https://github.com/microsoft/MSVBASE.git
cd MSVBASE
git submodule update --init --recursive
./scripts/patch.sh

建造

 ./scripts/dockerbuild.sh

跑步

 ./scripts/dockerrun.sh

功能和SQL语法

它与PostgreSQL语法和协议兼容，支持L2和内部产品的矢量距离计算。它还支持HNSW和SPTAG指数。很快，我们将整合Spann和更多索引。

命令行

 docker exec -it --privileged --user=root vbase_open_source bash
psql -U vectordb

SQL语法

它保留了PostgreSQL的所有功能，同时扩展了对向量数据的查询支持。

• 当前，“ float Array”用于存储向量。

 create table t_table(id int, price int, vector_1 float8[10], vector_2 float8[10]);

• 插入或导入数据。

 insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}', '{5,6,7,1,2,3,4,8,9,1}');
copy t_table from 'your_data_path.tsv' DELIMITER E't' csv quote e'x01';

• 创建向量索引时，有必要指定算法和要使用的距离计算方法。

 create index vector_index_1 on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
create index vector_index_2 on t_table using sptag(vector_2 vector_inner_product_ops) with(distmethod=inner_product);

• TOPK 。计算距离时，“ <->”操作员表示L2距离，而'<*>'代表内部产品距离。

 select id from t_table order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• TOPK +过滤器。

 select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table where price > 15 order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• 距离范围过滤器。它还支持基于距离阈值的过滤查询。查询将检索距离阈值以内的向量数据。在查询中，'<< - >>'操作员表示L2距离，而'<<*>>'代表内部产品距离。阵列的第一个元素表示距离阈值。

 select id from t_table where price > 15 and vector_1 <<->> '{30,5,9,8,6,2,1,1,0,4,3}';

• 多向量列查询。

 select id from t_table
order by approximate_sum('0.5 * vector_1<->{5,9,8,6,2,1,1,0,4,3} + vector_2<*>{5,9,8,6,2,1,1,0,4,3}' ) limit 5;

• 加入。加入矢量相似性与阈值

 select t_table.id as tid, d_table.id as did
from t_table join d_table
on t_table.vector_2 <<*>> array_cat(ARRAY[cast(10 as float8)], d_table.vector_2);

• 例子

 create database test;
c test;
create extension vectordb;
create table t_table(id int, price int, vector_1 float8[10]);
insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}');
insert into t_table values(2, 20, '{5,6,7,1,2,3,4,8,9,1}');
insert into t_table values(3, 30, '{9,8,7,6,5,4,3,2,1,0}');
create index t4_index on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
set enable_seqscan=false;
select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 1;
insert into t_table values(4, 40, '{19,18,17,16,15,14,13,12,11,10}');
delete from t_table where id = 2;

贡献

该项目欢迎贡献和建议。大多数捐款要求您同意撰写贡献者许可协议（CLA），宣布您有权并实际上授予我们使用您的贡献的权利。有关详细信息，请访问https://cla.opensource.microsoft.com。

当您提交拉动请求时，CLA机器人将自动确定您是否需要提供CLA并适当装饰PR（例如状态检查，评论）。只需按照机器人提供的说明即可。您只需要使用我们的CLA在所有存储库中进行一次。

该项目采用了Microsoft开源的行为代码。有关更多信息，请参见《行为守则常见问题守则》或与其他问题或评论联系[email protected]。

商标

该项目可能包含用于项目，产品或服务的商标或徽标。 Microsoft商标或徽标的授权使用受到了Microsoft的商标和品牌准则的约束。在此项目的修改版本中使用Microsoft商标或徽标不得引起混乱或暗示Microsoft赞助。任何使用第三方商标或徽标都遵守这些第三方政策。