MSVBASE

Msvbase

Apa yang baru

• Makalah Penelitian Baru SPFRESH: Pembaruan In-Place tambahan untuk pencarian vektor skala miliaran- Diterbitkan dalam SOSP 2023
• Makalah Penelitian Baru VBase: Menyatuan Pencarian Kesamaan Vektor Online dan Pertanyaan Relasional melalui Monotonisitas Santai - Diterbitkan di OSDI 2023

Apa msvbase

MSVBase adalah sistem baru yang mampu melayani kueri online kompleks secara efisien yang melibatkan perkiraan pencarian kesamaan dan operator relasional pada set data skalar dan vektor. MSVBase membangun mesin eksekusi kueri terpadu untuk mendukung berbagai kueri baik pada data skalar dan vektor, dan menunjukkan kinerja dan akurasi kueri yang unggul. Ini mengintegrasikan indeks vektor dimensi tinggi ke dalam postgresql dengan modifikasi kode minimal.

QuickStart

Klon dan tambalan

 git clone https://github.com/microsoft/MSVBASE.git
cd MSVBASE
git submodule update --init --recursive
./scripts/patch.sh

Membangun

 ./scripts/dockerbuild.sh

Berlari

 ./scripts/dockerrun.sh

Fitur dan sintaks SQL

Ini kompatibel dengan sintaks dan protokol postgresql, perhitungan jarak vektor pendukung untuk L2 dan produk dalam. Ini juga mendukung indeks HNSW dan SPTAG. Segera, kami akan mengintegrasikan Spann dan lebih banyak indeks.

Baris perintah

 docker exec -it --privileged --user=root vbase_open_source bash
psql -U vectordb

Sintaks SQL

Ini melestarikan semua fitur PostgreSQL sambil memperluas dukungan kueri pada data vektor.

• Saat ini, 'Float Array' digunakan untuk menyimpan vektor.

 create table t_table(id int, price int, vector_1 float8[10], vector_2 float8[10]);

• Masukkan atau impor data.

 insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}', '{5,6,7,1,2,3,4,8,9,1}');
copy t_table from 'your_data_path.tsv' DELIMITER E't' csv quote e'x01';

• Saat membuat indeks vektor, perlu untuk menentukan algoritma dan metode perhitungan jarak yang akan digunakan.

 create index vector_index_1 on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
create index vector_index_2 on t_table using sptag(vector_2 vector_inner_product_ops) with(distmethod=inner_product);

• Topk . Saat menghitung jarak, operator '<->' mewakili jarak L2, sedangkan '<*>' mewakili jarak produk dalam.

 select id from t_table order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• Topk + filter .

 select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table where price > 15 order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• Filter rentang jarak . Ini juga mendukung kueri penyaringan berbasis ambang batas jarak. Kueri akan mengambil data vektor yang berada dalam ambang jarak. Dalam kueri, operator '<<->>' mewakili jarak L2, sementara '<<*>>' mewakili jarak produk dalam. Elemen pertama dari array mewakili ambang jarak.

 select id from t_table where price > 15 and vector_1 <<->> '{30,5,9,8,6,2,1,1,0,4,3}';

• Kueri kolom multi-vektor .

 select id from t_table
order by approximate_sum('0.5 * vector_1<->{5,9,8,6,2,1,1,0,4,3} + vector_2<*>{5,9,8,6,2,1,1,0,4,3}' ) limit 5;

• Bergabung . Bergabunglah dengan kesamaan vektor dengan ambang batas

 select t_table.id as tid, d_table.id as did
from t_table join d_table
on t_table.vector_2 <<*>> array_cat(ARRAY[cast(10 as float8)], d_table.vector_2);

• Contoh

 create database test;
c test;
create extension vectordb;
create table t_table(id int, price int, vector_1 float8[10]);
insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}');
insert into t_table values(2, 20, '{5,6,7,1,2,3,4,8,9,1}');
insert into t_table values(3, 30, '{9,8,7,6,5,4,3,2,1,0}');
create index t4_index on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
set enable_seqscan=false;
select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 1;
insert into t_table values(4, 40, '{19,18,17,16,15,14,13,12,11,10}');
delete from t_table where id = 2;

Berkontribusi

Proyek ini menyambut kontribusi dan saran. Sebagian besar kontribusi mengharuskan Anda untuk menyetujui perjanjian lisensi kontributor (CLA) yang menyatakan bahwa Anda memiliki hak untuk, dan benar -benar melakukannya, beri kami hak untuk menggunakan kontribusi Anda. Untuk detailnya, kunjungi https://cla.opensource.microsoft.com.

Saat Anda mengirimkan permintaan tarik, bot CLA akan secara otomatis menentukan apakah Anda perlu memberikan CLA dan menghiasi PR secara tepat (misalnya, pemeriksaan status, komentar). Cukup ikuti instruksi yang disediakan oleh bot. Anda hanya perlu melakukan ini sekali di semua repo menggunakan CLA kami.

Proyek ini telah mengadopsi kode perilaku open source Microsoft. Untuk informasi lebih lanjut, lihat FAQ Kode Perilaku atau hubungi [email protected] dengan pertanyaan atau komentar tambahan.

Merek dagang

Proyek ini dapat berisi merek dagang atau logo untuk proyek, produk, atau layanan. Penggunaan resmi merek dagang atau logo Microsoft tunduk dan harus mengikuti pedoman merek dagang & merek Microsoft. Penggunaan merek dagang atau logo Microsoft dalam versi yang dimodifikasi dari proyek ini tidak boleh menyebabkan kebingungan atau menyiratkan sponsor Microsoft. Setiap penggunaan merek dagang atau logo pihak ketiga tunduk pada kebijakan pihak ketiga tersebut.