hollowdb vector

HollowDBベクトル

HollowDBを介した階層航海可能な小さな世界（HNSW）インデックスの実装。

インストール

パッケージをインストールします：

yarn add hollowdb-vector
pnpm add hollowdb-vector
npm install hollowdb-vector

使用法

次のようにVectordBを作成できます。

 import HollowDBVector from "hollowdb-vector" ;
import { WarpFactory , defaultCacheOptions } from "warp-contracts" ;
import { SetSDK } from "hollowdb" ;
import { Redis } from "ioredis" ;
import { RedisCache } from "warp-contracts-redis" ;

// connect to Redis
const redis = new Redis ( ) ;

// create Warp instance with Redis cache
const warp = WarpFactory . forMainnet ( ) . useKVStorageFactory (
  ( contractTxId : string ) =>
    new RedisCache ( { ... defaultCacheOptions , dbLocation : ` ${ contractTxId } ` } , { client : redis } ) ,
) ;

// create HollowDB SDK
const wallet = JSON . parse ( readFileSync ( "./path/to/wallet.json" , "utf-8" ) ) ;
const contractTxId = "your-contract-tx-id" ;
const hollowdb = new SetSDK < string > ( wallet , contractTxId , warp ) ;

// create HollowDB Vector
const vectordb = new HollowDBVector ( hollowdb ) ;

ベクトルを挿入します

これにより、新しいポイントを挿入できます。

 const point = [ - 0.28571999073028564 /* and many more... */ , 0.13964000344276428 ] ;

// any object
const metadata = {
  name : "My favorite vector!" ,
} ;

// insert a point
await vectordb . insert ( point , metadata ) ;

メタデータはオプションであり、 insert中に除外することができます。後で設定したい場合は、いつでもできます。

 vectordb . db . set_metadata ( index , metadata ) ; 

注記

ポイントを挿入する複雑さは、DBのより多くのポイントとともに増加する可能性があります。

ベクトルを取得します

インデックスによってベクトルを取得できます。インデックスは、ポイント値とメタデータを返します。

 const { point , metadata } = await vectordb . get_vector ( index ) ;

ベクトルのクエリ

クエリを作成し、Top K関連する結果を返すことができます。

 // a query point
const query = [ - 0.28571999073028564 /* and many more... */ , 0.13964000344276428 ] ;

// number of top results to return
const K = 10 ;

// make a KNN search
const results = await vectordb . knn_search ( query , K ) ;

// each result contains the vector id, its distance to query, and metadata
const { id , distance , metadata } = results [ 0 ] ;

独自の契約を展開します

HollowDB Vectorは、所有する新しい契約を2つ展開できる静的関数をエクスポートします。上記のようにwalletとwarpインスタンスがあると仮定すると、以下との新しい契約を作成できます。

 const { contractTxId } = await HollowDBVector . deploy ( wallet , warp ) ;
console . log ( "Deployed at:" , contractTxId ) ; 

設定

このリポジトリのローカルセットアップについては、最初にクローンを作成します。

git clone https://github.com/firstbatchxyz/hollowdb-vector

次に、パッケージをインストールします。

pnpm install

ピア依存関係は自動的にインストールする必要があります。

プロトバファー

リポジトリに事前にコンパイルされたプロトブフを含めますが、後でProtobufを変更する場合は、次のようにコンパイルされたコードを生成できます。

 # HNSW protobufs
pnpm proto:code:hnsw # generate js code
pnpm proto:type:hnsw # generate types

# Request protobufs
pnpm proto:code:req # generate js code
pnpm proto:type:req # generate types 

テスト

テストは、一定のセットのためにいくつかのケースで実行されます $ n、k $ Pythonで調製され、TypeScriptで比較されるパラメーター。テストを使用して実行します。

pnpm test 

警告

HollowDBテストが機能するには、ライブRedisサーバーが必要です。さらに、HollowDBテストには時間がかかる場合があります。

スタイリング

フォーマットを確認してください：

pnpm format

すべてを癒す：

pnpm lint

次のタイプを確認することもできます。

pnpm check

遺産

HollowDB VectorはDannyを置き換えます。レガシーコードについては、このブランチを参照してください。

ライセンス

HollowDB Vectorは、Apache 2.0に基づいてライセンスされています。