hollowdb vector

Hollowdb Vector

Внедрение индекса иерархических судоходных небольших миров (HNSW) над HollowDB.

Установка

Установите пакет:

yarn add hollowdb-vector
pnpm add hollowdb-vector
npm install hollowdb-vector

Использование

Вы можете создать VectordB следующим образом:

 import HollowDBVector from "hollowdb-vector" ;
import { WarpFactory , defaultCacheOptions } from "warp-contracts" ;
import { SetSDK } from "hollowdb" ;
import { Redis } from "ioredis" ;
import { RedisCache } from "warp-contracts-redis" ;

// connect to Redis
const redis = new Redis ( ) ;

// create Warp instance with Redis cache
const warp = WarpFactory . forMainnet ( ) . useKVStorageFactory (
  ( contractTxId : string ) =>
    new RedisCache ( { ... defaultCacheOptions , dbLocation : ` ${ contractTxId } ` } , { client : redis } ) ,
) ;

// create HollowDB SDK
const wallet = JSON . parse ( readFileSync ( "./path/to/wallet.json" , "utf-8" ) ) ;
const contractTxId = "your-contract-tx-id" ;
const hollowdb = new SetSDK < string > ( wallet , contractTxId , warp ) ;

// create HollowDB Vector
const vectordb = new HollowDBVector ( hollowdb ) ;

Вставка вектора

С этим вы можете вставить новую точку зрения:

 const point = [ - 0.28571999073028564 /* and many more... */ , 0.13964000344276428 ] ;

// any object
const metadata = {
  name : "My favorite vector!" ,
} ;

// insert a point
await vectordb . insert ( point , metadata ) ;

Метаданные являются необязательными, и вы можете оставить их во время insert . Если вы хотите установить это позже, вы всегда можете сделать:

 vectordb . db . set_metadata ( index , metadata ) ; 

Примечание

Сложность вставки точки может увеличиться с большим количеством точек в БД.

Привлечение вектора

Вы можете получить вектор по его индексу, который возвращает его значение и метаданные:

 const { point , metadata } = await vectordb . get_vector ( index ) ;

Запрос вектора

Вы можете сделать запрос и вернуть Top K соответствующие результаты:

 // a query point
const query = [ - 0.28571999073028564 /* and many more... */ , 0.13964000344276428 ] ;

// number of top results to return
const K = 10 ;

// make a KNN search
const results = await vectordb . knn_search ( query , K ) ;

// each result contains the vector id, its distance to query, and metadata
const { id , distance , metadata } = results [ 0 ] ;

Развертывание собственного контракта

HollowDB Vector Exports статическая функция, которая позволяет двум развернуть новый контракт, который вам владеет. Предполагая, что у вас есть экземпляр wallet и warp , как описано выше, вы можете создать новый контракт с:

 const { contractTxId } = await HollowDBVector . deploy ( wallet , warp ) ;
console . log ( "Deployed at:" , contractTxId ) ; 

Настраивать

Для локальной настройки этого репо, сначала клонируйте его.

git clone https://github.com/firstbatchxyz/hollowdb-vector

Затем установите пакеты:

pnpm install

Зависимости от сверстников должны быть установлены автоматически.

Протобафферы

Мы включаем предварительно скомпилированный протобуф в репо, но если вы изменили ProtoBuf позже, вы можете генерировать скомпилированный код следующим образом:

 # HNSW protobufs
pnpm proto:code:hnsw # generate js code
pnpm proto:type:hnsw # generate types

# Request protobufs
pnpm proto:code:req # generate js code
pnpm proto:type:req # generate types 

Тестирование

Тесты проводятся в течение нескольких случаев для фиксированного набора $ N, k $ Параметры, которые приготовлены в Python и сравниваются в типографии. Запустите тесты через:

pnpm test 

Предупреждение

Вам нужен Live Redis Server для работы HollowDB. Кроме того, тесты HollowDB могут занять некоторое время.

Стиль

Проверьте форматирование с помощью:

pnpm format

Оборвать все с помощью:

pnpm lint

Вы также можете проверить типы с помощью:

pnpm check

Наследие

Hollowdb Vector заменяет Дэнни, для устаревшего кода, пожалуйста, обратитесь к этой филиале.

Лицензия

HollowDB Vector лицензирован в Apache 2.0.