tiny_vectordb

小さなベクトルデータベース

小規模プロジェクト向けに設計された軽量ベクトルデータベース。

特徴

• コンパイル時間にベクトルサイズを設定することにより、ベクトル操作を最適化するジャストインタイム（JIT）コンパイル。
• Eigenを使用してベクトル操作を加速します。
• Pythonリストのみを使用してベクトルをプロセスします。追加のサードパーティデータ形式は必要ありません。
• ベクターは、SQLiteデータベースにベース64エンコードされた文字列として保存します。

パフォーマンス
Numpyベースのベクトル操作よりも10倍以上速い。

開発状況

現在、G ++またはClang ++と互換性があります。
コンパイルコマンドを挿入するには、 VectorDatabase初期化でcompile_configパラメーターを変更する必要がある場合があります。
他のコンパイラで動作させるには、 tiny_vectordb.jitモジュールを変更する必要がある場合があります。

インストール

pip install tiny_vectordb

行ってよかった！

アンインストール

パッケージは、Sourceディレクトリにコンパイルされたファイルを発射しますが、これはpip uninstallを使用して自動的に削除できないため、パッケージをcomletelyにアンインストールする場合は、次のコマンドを手動で実行する必要があります。

python -c " import tiny_vectordb; tiny_vectordb.cleanup() "

その後、以下でパッケージを安全にアンインストールできます。

pip uninstall tiny_vectordb

使用法：

 from tiny_vectordb import VectorDatabase

collection_configs = [
    {
        "name" : "hello" ,
        "dimension" : 256 ,
    },
    {
        "name" : "world" ,
        "dimension" : 1000 ,
    }
]
database = VectorDatabase ( "test.db" , collection_configs )
collection = database [ "hello" ]

# add vectors
collection . setBlock (
    [ "id1" , "id2" ],             # ids
    [[ 1 ] * 256 , [ 2 ] * 256 ]      # vectors
)

# search for nearest vectors
search_ids , search_scores = collection . search ([ 1.9 ] * 256 )  

その他の使用については、 example.pyを参照してください。

---

デザインメモ：

1. データベースには、できるだけ軽量にしたいので、データベースにはnumpy配列は使用されておらず、HTTPリクエストとの通信のために数字のリストをJSONに変換する必要があります。

2. データは常に連続的なメモリに保存され、最高の検索パフォーマンスを確保します。
   したがって、メモリの再割り当てを環境に導くため、追加と削除はバッチで行われることを好みます。
   バッチ操作に役立つ機能を次に示します。

 class VectorCollection ( Generic [ NumVar ]):
    def addBlock ( self , ids : list [ str ], vectors : list [ list [ NumVar ]]) -> None :
    def setBlock ( self , ids : list [ str ], vectors : list [ list [ NumVar ]]) -> None :
    def deleteBlock ( self , ids : list [ str ]) -> None :
    def getBlock ( self , ids : list [ str ]) -> list [ list [ NumVar ]]: