MSVBASE

Msvbase

O que há de novo

• Novo artigo de pesquisa SPFRESH: Atualização incremental no local para pesquisa vetorial em escala de bilhão- publicado no SOSP 2023
• Novo trabalho de pesquisa vbase: unificação de pesquisa de similaridade vetorial on -line e consultas relacionais via monotonicidade relaxada - publicada no OSDI 2023

O que é MSVBase

O MSVBase é um novo sistema capaz de atender com eficiência consultas on-line complexas que envolvem pesquisas aproximadas de similaridade e operadores relacionais em conjuntos de dados escalares e vetores. O MSVBase cria um mecanismo de execução de consulta unificado para suportar uma ampla gama de consultas nos dados escalares e vetoriais e mostra desempenho e precisão superiores da consulta. Ele integra índices vetoriais de alta dimensão no PostgreSQL com modificações mínimas de código.

Investir rápido

Clone e remendo

 git clone https://github.com/microsoft/MSVBASE.git
cd MSVBASE
git submodule update --init --recursive
./scripts/patch.sh

Construir

 ./scripts/dockerbuild.sh

Correr

 ./scripts/dockerrun.sh

Recursos e sintaxe SQL

É compatível com a sintaxe e protocolo PostgreSQL, suportando cálculos de distância do vetor para L2 e produto interno. Também suporta índices de HNSW e SPTAG. Em breve, vamos integrar Spann e mais índices.

Linha de comando

 docker exec -it --privileged --user=root vbase_open_source bash
psql -U vectordb

Sintaxe SQL

Ele preserva todos os recursos do PostgreSQL enquanto estende o suporte à consulta nos dados do vetor.

• Atualmente, 'Float Array' é usado para armazenar vetores.

 create table t_table(id int, price int, vector_1 float8[10], vector_2 float8[10]);

• Inserir ou importar dados.

 insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}', '{5,6,7,1,2,3,4,8,9,1}');
copy t_table from 'your_data_path.tsv' DELIMITER E't' csv quote e'x01';

• Ao criar um índice vetorial, é necessário especificar o algoritmo e o método de cálculo da distância a ser usado.

 create index vector_index_1 on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
create index vector_index_2 on t_table using sptag(vector_2 vector_inner_product_ops) with(distmethod=inner_product);

• Topk . Ao calcular distâncias, o operador '<-->' representa a distância L2, enquanto '<*>' representa a distância do produto interno.

 select id from t_table order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• Topk + filtro .

 select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table where price > 15 order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• Filtro da faixa de distância . Ele também suporta consultas de filtragem baseadas em limiar de distância. A consulta recuperará dados vetoriais que estão dentro do limite de distância. Na consulta, o operador '<<->>' representa a distância L2, enquanto '<< *>' 'representa a distância interna do produto. O primeiro elemento da matriz representa o limiar de distância.

 select id from t_table where price > 15 and vector_1 <<->> '{30,5,9,8,6,2,1,1,0,4,3}';

• Consulta de coluna multi-vetor .

 select id from t_table
order by approximate_sum('0.5 * vector_1<->{5,9,8,6,2,1,1,0,4,3} + vector_2<*>{5,9,8,6,2,1,1,0,4,3}' ) limit 5;

• Juntar . Junte -se à similaridade do vetor com o limiar

 select t_table.id as tid, d_table.id as did
from t_table join d_table
on t_table.vector_2 <<*>> array_cat(ARRAY[cast(10 as float8)], d_table.vector_2);

• Exemplo

 create database test;
c test;
create extension vectordb;
create table t_table(id int, price int, vector_1 float8[10]);
insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}');
insert into t_table values(2, 20, '{5,6,7,1,2,3,4,8,9,1}');
insert into t_table values(3, 30, '{9,8,7,6,5,4,3,2,1,0}');
create index t4_index on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
set enable_seqscan=false;
select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 1;
insert into t_table values(4, 40, '{19,18,17,16,15,14,13,12,11,10}');
delete from t_table where id = 2;

Contribuindo

Este projeto recebe contribuições e sugestões. A maioria das contribuições exige que você concorde com um Contrato de Licença de Colaborador (CLA) declarando que você tem o direito e, na verdade, concede -nos os direitos de usar sua contribuição. Para detalhes, visite https://cla.opensource.microsoft.com.

Quando você envia uma solicitação de tração, um BOT do CLA determina automaticamente se você precisa fornecer um CLA e decorar o PR adequadamente (por exemplo, verificação de status, comentar). Simplesmente siga as instruções fornecidas pelo bot. Você só precisará fazer isso uma vez em todos os repositórios usando nosso CLA.

Este projeto adotou o Código de Conduta Open Microsoft. Para obter mais informações, consulte o Código de Conduta Perguntas frequentes ou entre em contato com [email protected] com quaisquer perguntas ou comentários adicionais.

Marcas comerciais

Este projeto pode conter marcas comerciais ou logotipos para projetos, produtos ou serviços. O uso autorizado de marcas comerciais ou logotipos da Microsoft está sujeito e deve seguir as diretrizes de marca registrada e marca da Microsoft. O uso de marcas comerciais da Microsoft ou logotipos em versões modificadas deste projeto não deve causar confusão ou implicar o patrocínio da Microsoft. Qualquer uso de marcas comerciais ou logotipos de terceiros estão sujeitas às políticas de terceiros.