MSVBASE

Msvbase

Quoi de neuf

• Nouveau article de recherche SPFRESH: mise à jour incrémentiel en place pour la recherche de vecteurs à l'échelle des milliards - publié dans SOSP 2023
• Nouveau document de recherche VBase: Unification en ligne de recherche de vecteur en ligne et requêtes relationnelles via une monotonie détendue - publiée dans OSDI 2023

Qu'est-ce que MSVBase

MSVBase est un nouveau système capable de servir efficacement des requêtes en ligne complexes qui impliquent à la fois une recherche approximative de recherche et des opérateurs relationnels sur les ensembles de données scalaires et vectoriels. MSVBase construit un moteur d'exécution de requête unifié pour prendre en charge une large gamme de requêtes à la fois sur les données scalaires et vectorielles, et affiche des performances et une précision de requête supérieures. Il intègre des indices vectoriels de haute dimension dans PostgreSQL avec des modifications de code minimales.

Start

Clone et patch

 git clone https://github.com/microsoft/MSVBASE.git
cd MSVBASE
git submodule update --init --recursive
./scripts/patch.sh

Construire

 ./scripts/dockerbuild.sh

Courir

 ./scripts/dockerrun.sh

Caractéristiques et syntaxe SQL

Il est compatible avec la syntaxe et le protocole postgresql, prenant en charge les calculs de distance vectorielle pour L2 et produit intérieur. Il prend également en charge les indices HNSW et SPTAG. Bientôt, nous allons intégrer Spann et plus d'indices.

Ligne de commande

 docker exec -it --privileged --user=root vbase_open_source bash
psql -U vectordb

Syntaxe SQL

Il préserve toutes les fonctionnalités de PostgreSQL tout en étendant la prise en charge de la requête sur les données vectorielles.

• Actuellement, «Float Array» est utilisé pour stocker des vecteurs.

 create table t_table(id int, price int, vector_1 float8[10], vector_2 float8[10]);

• Insérer ou importer des données.

 insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}', '{5,6,7,1,2,3,4,8,9,1}');
copy t_table from 'your_data_path.tsv' DELIMITER E't' csv quote e'x01';

• Lors de la création d'un indice vectoriel, il est nécessaire de spécifier l'algorithme et la méthode de calcul de distance à utiliser.

 create index vector_index_1 on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
create index vector_index_2 on t_table using sptag(vector_2 vector_inner_product_ops) with(distmethod=inner_product);

• Topk . Lors du calcul des distances, l'opérateur '<->' représente la distance L2, tandis que '<*>' représente la distance du produit interne.

 select id from t_table order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• Topk + filtre .

 select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table where price > 15 order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• Filtre de plage de distance . Il prend également en charge les requêtes de filtrage basées sur le seuil à distance. La requête récupérera les données vectorielles qui se trouvent dans le seuil de distance. Dans la requête, l'opérateur '<< - >>' représente la distance L2, tandis que '<< * >>' représente la distance du produit intérieur. Le premier élément du tableau représente le seuil de distance.

 select id from t_table where price > 15 and vector_1 <<->> '{30,5,9,8,6,2,1,1,0,4,3}';

• Requête de colonne multi-vecteur .

 select id from t_table
order by approximate_sum('0.5 * vector_1<->{5,9,8,6,2,1,1,0,4,3} + vector_2<*>{5,9,8,6,2,1,1,0,4,3}' ) limit 5;

• Rejoindre . Rejoindre la similitude vectorielle avec le seuil

 select t_table.id as tid, d_table.id as did
from t_table join d_table
on t_table.vector_2 <<*>> array_cat(ARRAY[cast(10 as float8)], d_table.vector_2);

• Exemple

 create database test;
c test;
create extension vectordb;
create table t_table(id int, price int, vector_1 float8[10]);
insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}');
insert into t_table values(2, 20, '{5,6,7,1,2,3,4,8,9,1}');
insert into t_table values(3, 30, '{9,8,7,6,5,4,3,2,1,0}');
create index t4_index on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
set enable_seqscan=false;
select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 1;
insert into t_table values(4, 40, '{19,18,17,16,15,14,13,12,11,10}');
delete from t_table where id = 2;

Contributif

Ce projet accueille les contributions et les suggestions. La plupart des contributions vous obligent à accepter un accord de licence de contributeur (CLA) déclarant que vous avez le droit de faire et en fait, accordez-nous les droits d'utilisation de votre contribution. Pour plus de détails, visitez https://cla.opensource.microsoft.com.

Lorsque vous soumettez une demande de traction, un bot CLA déterminera automatiquement si vous devez fournir un CLA et décorer le RP de manière appropriée (par exemple, vérification d'état, commentaire). Suivez simplement les instructions fournies par le bot. Vous n'aurez besoin de le faire qu'une seule fois sur tous les dépositions en utilisant notre CLA.

Ce projet a adopté le code de conduite open source Microsoft. Pour plus d'informations, consultez le code de conduite FAQ ou contactez [email protected] avec toute question ou commentaire supplémentaire.

Marques

Ce projet peut contenir des marques ou des logos pour des projets, des produits ou des services. L'utilisation autorisée de marques ou de logos Microsoft est soumise et doit suivre les directives de marque et de marque de Microsoft. L'utilisation de marques ou de logos de Microsoft dans des versions modifiées de ce projet ne doit pas provoquer de confusion ou impliquer le parrainage de Microsoft. Toute utilisation de marques ou de logos tiers est soumis aux politiques de ces tiers.