MSVBASE

MSVBASE

Was ist neu

• Neues Forschungspapier SPFRSH: Inkrementelle In-Place-Update für die milliarden-Maßstabs-Vektorsuche- veröffentlicht in SOSP 2023
• Neues Forschungspapier VBase: Einheitliche Online -Vektor -Ähnlichkeitssuche und relationale Abfragen über entspannte Monotonität - veröffentlicht in OSDI 2023

Was ist msvbase

MSVBASE ist ein neues System, das komplexe Online-Abfragen effizient bedienen kann, bei denen sowohl die ungefähre Suchanlagen für Ähnlichkeits- als auch die relationalen Betreiber für Skalar- und Vektordatensätze beinhalten. MSVBASE erstellt eine einheitliche Abfrage -Ausführungsmaschine, um eine Vielzahl von Abfragen sowohl für Skalar- als auch für Vektordaten zu unterstützen, und zeigt eine überlegene Abfrageleistung und -genauigkeit. Es integriert hochdimensionale Vektorindizes in PostgreSQL mit minimalen Code-Modifikationen.

QuickStart

Klon und Patch

 git clone https://github.com/microsoft/MSVBASE.git
cd MSVBASE
git submodule update --init --recursive
./scripts/patch.sh

Bauen

 ./scripts/dockerbuild.sh

Laufen

 ./scripts/dockerrun.sh

Funktionen und SQL -Syntax

Es ist mit der PostgreSQL -Syntax und dem Protokoll kompatibel und unterstützt die Vektorentfernungsberechnungen für L2 und inneres Produkt. Es unterstützt auch HNSW- und SPTAG -Indizes. Bald werden wir Spann und weitere Indizes integrieren.

Befehlszeile

 docker exec -it --privileged --user=root vbase_open_source bash
psql -U vectordb

SQL -Syntax

Es bewahrt alle Funktionen von PostgreSQL und erweitert die Abfrageunterstützung für Vektordaten.

• Derzeit wird 'Float Array' verwendet, um Vektoren zu speichern.

 create table t_table(id int, price int, vector_1 float8[10], vector_2 float8[10]);

• Daten einfügen oder importieren.

 insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}', '{5,6,7,1,2,3,4,8,9,1}');
copy t_table from 'your_data_path.tsv' DELIMITER E't' csv quote e'x01';

• Beim Erstellen eines Vektorindex ist es erforderlich, den zu verwendenden Algorithmus und die zu verwendende Entfernungsberechnung anzugeben.

 create index vector_index_1 on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
create index vector_index_2 on t_table using sptag(vector_2 vector_inner_product_ops) with(distmethod=inner_product);

• Topk . Bei der Berechnung der Abstände repräsentiert der '<->' Operator die L2-Entfernung, während '<*>' die innere Produktabstand darstellt.

 select id from t_table order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• Topk + Filter .

 select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table where price > 15 order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• Abstandsbereichfilter . Es unterstützt auch Distanzschwellen-basierte Filterfragen. In der Abfrage werden Vektordaten abgerufen, die sich innerhalb der Entfernungsschwelle befinden. In der Abfrage repräsentiert der Operator '<<->>' die L2-Entfernung, während '<<*>>' die innere Produktentfernung darstellt. Das erste Element des Arrays repräsentiert die Abstandsschwelle.

 select id from t_table where price > 15 and vector_1 <<->> '{30,5,9,8,6,2,1,1,0,4,3}';

• Multi-Vektor-Spaltenabfrage .

 select id from t_table
order by approximate_sum('0.5 * vector_1<->{5,9,8,6,2,1,1,0,4,3} + vector_2<*>{5,9,8,6,2,1,1,0,4,3}' ) limit 5;

• Verbinden . Schließen Sie sich der Vektorähnlichkeit mit Schwellenwert an

 select t_table.id as tid, d_table.id as did
from t_table join d_table
on t_table.vector_2 <<*>> array_cat(ARRAY[cast(10 as float8)], d_table.vector_2);

• Beispiel

 create database test;
c test;
create extension vectordb;
create table t_table(id int, price int, vector_1 float8[10]);
insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}');
insert into t_table values(2, 20, '{5,6,7,1,2,3,4,8,9,1}');
insert into t_table values(3, 30, '{9,8,7,6,5,4,3,2,1,0}');
create index t4_index on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
set enable_seqscan=false;
select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 1;
insert into t_table values(4, 40, '{19,18,17,16,15,14,13,12,11,10}');
delete from t_table where id = 2;

Beitragen

Dieses Projekt begrüßt Beiträge und Vorschläge. In den meisten Beiträgen müssen Sie einer Mitarbeiters Lizenzvereinbarung (CLA) zustimmen, in der Sie erklären, dass Sie das Recht haben und uns tatsächlich tun, um uns die Rechte zu gewähren, Ihren Beitrag zu verwenden. Weitere Informationen finden Sie unter https://cla.opensource.microsoft.com.

Wenn Sie eine Pull -Anfrage einreichen, bestimmt ein CLA -Bot automatisch, ob Sie eine CLA angeben und die PR angemessen dekorieren müssen (z. B. Statusprüfung, Kommentar). Befolgen Sie einfach die vom Bot bereitgestellten Anweisungen. Sie müssen dies nur einmal über alle Repos mit unserem CLA tun.

Dieses Projekt hat den Microsoft Open Source -Verhaltenscode übernommen. Weitere Informationen finden Sie im FAQ oder wenden Sie sich an [email protected] mit zusätzlichen Fragen oder Kommentaren.

Marken

Dieses Projekt kann Marken oder Logos für Projekte, Produkte oder Dienstleistungen enthalten. Die autorisierte Verwendung von Microsoft -Marken oder Logos unterliegt den Marken- und Markenrichtlinien von Microsoft und muss folgen. Die Verwendung von Microsoft -Marken oder Logos in geänderten Versionen dieses Projekts darf keine Verwirrung verursachen oder Microsoft -Sponsoring implizieren. Jede Verwendung von Marken oder Logos von Drittanbietern unterliegt den Richtlinien dieses Drittanbieters.