MSVBASE

Msvbase

Qué hay de nuevo

• Nuevo artículo de investigación Spfresh: Actualización incremental en el lugar para la búsqueda vectorial a escala de miles de millones: publicado en SOSP 2023
• Nuevo trabajo de investigación VBase: Búsqueda de similitud de vectores en línea unificador y consultas relacionales a través de monotonicidad relajada - publicado en OSDI 2023

¿Qué es msvbase?

MSVBase es un nuevo sistema capaz de servir eficientemente consultas en línea complejas que involucran tanto la búsqueda de similitud aproximada como a los operadores relacionales en conjuntos de datos escalares y vectoriales. MSVBase construye un motor de ejecución de consultas unificada para admitir una amplia gama de consultas tanto en datos escalares y vectoriales, y muestra un rendimiento y precisión de consultas superiores. Integra índices de vectores de alta dimensión en PostgreSQL con modificaciones mínimas de código.

Inicio rápido

Clon y parche

 git clone https://github.com/microsoft/MSVBASE.git
cd MSVBASE
git submodule update --init --recursive
./scripts/patch.sh

Construir

 ./scripts/dockerbuild.sh

Correr

 ./scripts/dockerrun.sh

Características y sintaxis SQL

Es compatible con la sintaxis y el protocolo PostgreSQL, lo que respalda los cálculos de distancia del vector para L2 y el producto interno. También es compatible con los índices HNSW y SPTAG. Pronto, vamos a integrar Spann y más índices.

Línea de comando

 docker exec -it --privileged --user=root vbase_open_source bash
psql -U vectordb

Sintaxis sql

Preserva todas las características de PostgreSQL al tiempo que extiende el soporte de consultas en los datos vectoriales.

• Actualmente, 'Float Array' se utiliza para almacenar vectores.

 create table t_table(id int, price int, vector_1 float8[10], vector_2 float8[10]);

• Insertar o importar datos.

 insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}', '{5,6,7,1,2,3,4,8,9,1}');
copy t_table from 'your_data_path.tsv' DELIMITER E't' csv quote e'x01';

• Al crear un índice vectorial, es necesario especificar el algoritmo y el método de cálculo de distancia que se utilizará.

 create index vector_index_1 on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
create index vector_index_2 on t_table using sptag(vector_2 vector_inner_product_ops) with(distmethod=inner_product);

• Topk . Al calcular distancias, el operador '<->' representa la distancia L2, mientras que '<*>' representa la distancia del producto interno.

 select id from t_table order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• Topk + Filtro .

 select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table where price > 15 order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• Filtro de rango de distancia . También admite consultas de filtrado basadas en el umbral de distancia. La consulta recuperará los datos de vectores que están dentro del umbral de distancia. En la consulta, el operador '<<->>' representa la distancia L2, mientras que '<<*>>' representa la distancia del producto interno. El primer elemento de la matriz representa el umbral de distancia.

 select id from t_table where price > 15 and vector_1 <<->> '{30,5,9,8,6,2,1,1,0,4,3}';

• Consulta de columna de vectores múltiples .

 select id from t_table
order by approximate_sum('0.5 * vector_1<->{5,9,8,6,2,1,1,0,4,3} + vector_2<*>{5,9,8,6,2,1,1,0,4,3}' ) limit 5;

• Unirse . Únase a la similitud vectorial con el umbral

 select t_table.id as tid, d_table.id as did
from t_table join d_table
on t_table.vector_2 <<*>> array_cat(ARRAY[cast(10 as float8)], d_table.vector_2);

• Ejemplo

 create database test;
c test;
create extension vectordb;
create table t_table(id int, price int, vector_1 float8[10]);
insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}');
insert into t_table values(2, 20, '{5,6,7,1,2,3,4,8,9,1}');
insert into t_table values(3, 30, '{9,8,7,6,5,4,3,2,1,0}');
create index t4_index on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
set enable_seqscan=false;
select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 1;
insert into t_table values(4, 40, '{19,18,17,16,15,14,13,12,11,10}');
delete from t_table where id = 2;

Que contribuye

Este proyecto da la bienvenida a las contribuciones y sugerencias. La mayoría de las contribuciones requieren que acepte un Acuerdo de Licencia de Contributor (CLA) que declare que tiene derecho y realmente hacernos los derechos para utilizar su contribución. Para más detalles, visite https://cla.opensource.microsoft.com.

Cuando envíe una solicitud de extracción, un BOT CLA determinará automáticamente si necesita proporcionar un CLA y decorar el PR adecuadamente (por ejemplo, verificación de estado, comentario). Simplemente siga las instrucciones proporcionadas por el bot. Solo necesitará hacer esto una vez en todos los reposos usando nuestro CLA.

Este proyecto ha adoptado el Código de Conducta Open Open Microsoft. Para obtener más información, consulte el Código de Conducta Preguntas frecuentes o comuníquese con [email protected] con cualquier pregunta o comentario adicional.

Marcas registradas

Este proyecto puede contener marcas comerciales o logotipos para proyectos, productos o servicios. El uso autorizado de marcas o logotipos de Microsoft está sujeto y debe seguir las pautas de marca y marca de Microsoft. El uso de marcas registradas de Microsoft o logotipos en versiones modificadas de este proyecto no debe causar confusión o implicar el patrocinio de Microsoft. Cualquier uso de marcas comerciales o logotipos de terceros está sujeto a las políticas de esas partes de terceros.