MSVBASE

MSVBASE

Что нового

• Новая исследовательская статья SPFRESH: постепенное обновление на месте для поиска вектора миллиарда- опубликовано в SOSP 2023
• Новая исследовательская статья vbase: объединение сходства онлайн -сходства и реляционных запросов с помощью расслабленной монотонности - опубликовано в OSDI 2023

Что такое MSVBase

MSVBASE-это новая система, способная эффективно обслуживать сложные онлайн-запросы, которая включает в себя как приблизительное поиск сходства, так и реляционные операторы на скалярных и векторных наборах данных. MSVBase создает унифицированный механизм выполнения запросов для поддержки широкого спектра запросов как на скалярных, так и векторных данных, и показывает превосходную производительность и точность запроса. Он интегрирует высокомерные векторные индексы в PostgreSQL с минимальными модификациями кода.

QuickStart

Клон и патч

 git clone https://github.com/microsoft/MSVBASE.git
cd MSVBASE
git submodule update --init --recursive
./scripts/patch.sh

Строить

 ./scripts/dockerbuild.sh

Бегать

 ./scripts/dockerrun.sh

Особенности и синтаксис SQL

Он совместим с синтаксисом и протоколом PostgreSQL, поддерживая расчеты векторных расстояний для L2 и внутреннего продукта. Он также поддерживает индексы HNSW и SPTAG. Вскоре мы собираемся интегрировать Spann и больше индексов.

Командная строка

 docker exec -it --privileged --user=root vbase_open_source bash
psql -U vectordb

SQL Syntax

Он сохраняет все функции PostgreSQL, одновременно расширяя поддержку запросов на векторные данные.

• В настоящее время «Float Array» используется для хранения векторов.

 create table t_table(id int, price int, vector_1 float8[10], vector_2 float8[10]);

• Вставить или импортировать данные.

 insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}', '{5,6,7,1,2,3,4,8,9,1}');
copy t_table from 'your_data_path.tsv' DELIMITER E't' csv quote e'x01';

• При создании векторного индекса необходимо указать алгоритм и метод расстояния расстояния, который будет использоваться.

 create index vector_index_1 on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
create index vector_index_2 on t_table using sptag(vector_2 vector_inner_product_ops) with(distmethod=inner_product);

• Топк . При расчете расстояния оператор «<-->» представляет расстояние L2, а '<*>' представляет внутреннее расстояние.

 select id from t_table order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• Топк + фильтр .

 select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 10;
select id from t_table where price > 15 order by vector_2 <*> '{5,9,8,6,2,1,1,0,4,3}' limit 5;

• Фильтр дистанционного диапазона . Он также поддерживает запросы фильтрации на основе порога расстояния. Запрос будет извлекать векторные данные, которые находятся в пределах порога расстояния. В запросе оператор «<<->>» представляет расстояние L2, а '<<*>>' представляет внутреннее расстояние продукта. Первый элемент массива представляет порог расстояния.

 select id from t_table where price > 15 and vector_1 <<->> '{30,5,9,8,6,2,1,1,0,4,3}';

• Многоворно-колоннный запрос .

 select id from t_table
order by approximate_sum('0.5 * vector_1<->{5,9,8,6,2,1,1,0,4,3} + vector_2<*>{5,9,8,6,2,1,1,0,4,3}' ) limit 5;

• Присоединиться . Присоединяйтесь к сходству вектора с порогом

 select t_table.id as tid, d_table.id as did
from t_table join d_table
on t_table.vector_2 <<*>> array_cat(ARRAY[cast(10 as float8)], d_table.vector_2);

• Пример

 create database test;
c test;
create extension vectordb;
create table t_table(id int, price int, vector_1 float8[10]);
insert into t_table values(1, 10, '{1,2,3,4,5,6,7,8,9,0}');
insert into t_table values(2, 20, '{5,6,7,1,2,3,4,8,9,1}');
insert into t_table values(3, 30, '{9,8,7,6,5,4,3,2,1,0}');
create index t4_index on t_table using hnsw(vector_1) with(dimension=10,distmethod=l2_distance);
set enable_seqscan=false;
select id from t_table where price > 15 order by vector_1 <-> '{5,9,8,6,2,1,1,0,4,3}' limit 1;
insert into t_table values(4, 40, '{19,18,17,16,15,14,13,12,11,10}');
delete from t_table where id = 2;

Внося

Этот проект приветствует вклады и предложения. Большинство взносов требуют, чтобы вы согласились с лицензионным соглашением о участнике (CLA), заявив, что вы имеете право и фактически предоставить нам права на использование вашего вклада. Для получения подробной информации, посетите https://cla.opensource.microsoft.com.

Когда вы отправляете запрос на привлечение, бот CLA автоматически определит, нужно ли вам предоставить CLA и правильно украсить PR (например, проверка состояния, комментарий). Просто следуйте инструкциям, предоставленным ботом. Вам нужно будет сделать это только один раз во всех репо, используя наш CLA.

Этот проект принял код поведения с открытым исходным кодом Microsoft. Для получения дополнительной информации см. Кодекс поведения FAQ или свяжитесь с [email protected] с любыми дополнительными вопросами или комментариями.

Товарные знаки

Этот проект может содержать товарные знаки или логотипы для проектов, продуктов или услуг. Уполномоченное использование товарных знаков или логотипов Microsoft подлежит и должно следовать указаниям Microsoft по товарной марке и брендам. Использование товарных знаков Microsoft или логотипов в модифицированных версиях этого проекта не должно вызывать путаницу или подразумевать спонсорство Microsoft. Любое использование сторонних товарных знаков или логотипов подвержена политике сторонних сторон.