MSVBASE下載MSVBASE源代碼下載

MSVBASE

其他源碼

1.0.0

下載

MSVBase

什麼是新的

新的研究論文SPFRESH：十億個矢量搜索的就地更新 -發表在SOSP 2023中
新研究論文VBASE：通過放鬆單調性統一在線矢量相似性搜索和關係查詢 -發表於2023年OSDI

什麼是msvbase

MSVBASE是一個新系統，能夠有效地服務複雜的在線查詢，既涉及近似相似性搜索，又涉及標量和向量數據集上的關係運算符。 MSVBase構建了統一的查詢執行引擎，以支持標量和向量數據的廣泛查詢，並顯示出卓越的查詢性能和準確性。它將高維矢量指數集成到具有最小代碼修改後的oftgresql中。

Quickstart

克隆和補丁

 git clone https://github.com/microsoft/MSVBASE.git
cd MSVBASE
git submodule update --init --recursive
./scripts/patch.sh

建造

 ./scripts/dockerbuild.sh

跑步

 ./scripts/dockerrun.sh

功能和SQL語法

它與PostgreSQL語法和協議兼容，支持L2和內部產品的矢量距離計算。它還支持HNSW和SPTAG指數。很快，我們將整合Spann和更多索引。

命令行

 docker exec -it --privileged --user=root vbase_open_source bash
psql -U vectordb

SQL語法

它保留了PostgreSQL的所有功能，同時擴展了對向量數據的查詢支持。

當前，“ float Array”用於存儲向量。

 create table t_table(id int, price int, vector_1 float8[10], vector_2 float8[10]);

插入或導入數據。

 insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}', '{5,6,7,1,2,3,4,8,9,1}');
copy t_table from 'your_data_path.tsv' DELIMITER E't' csv quote e'x01';

創建向量索引時，有必要指定算法和要使用的距離計算方法。

 create index vector_index_1 on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
create index vector_index_2 on t_table using sptag(vector_2 vector_inner_product_ops) with(distmethod=inner_product);

TOPK 。計算距離時，“ <->”操作員表示L2距離，而'<*>'代表內部產品距離。

 select id from t_table order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

TOPK +過濾器。

 select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table where price > 15 order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

距離範圍過濾器。它還支持基於距離閾值的過濾查詢。查詢將檢索距離閾值以內的向量數據。在查詢中，'<< - >>'操作員表示L2距離，而'<<*>>'代表內部產品距離。陣列的第一個元素表示距離閾值。

 select id from t_table where price > 15 and vector_1 <<->> '{30,5,9,8,6,2,1,1,0,4,3}';

多向量列查詢。

 select id from t_table
order by approximate_sum('0.5 * vector_1<->{5,9,8,6,2,1,1,0,4,3} + vector_2<*>{5,9,8,6,2,1,1,0,4,3}' ) limit 5;

加入。加入矢量相似性與閾值

 select t_table.id as tid, d_table.id as did
from t_table join d_table
on t_table.vector_2 <<*>> array_cat(ARRAY[cast(10 as float8)], d_table.vector_2);

例子

 create database test;
c test;
create extension vectordb;
create table t_table(id int, price int, vector_1 float8[10]);
insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}');
insert into t_table values(2, 20, '{5,6,7,1,2,3,4,8,9,1}');
insert into t_table values(3, 30, '{9,8,7,6,5,4,3,2,1,0}');
create index t4_index on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
set enable_seqscan=false;
select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 1;
insert into t_table values(4, 40, '{19,18,17,16,15,14,13,12,11,10}');
delete from t_table where id = 2;