LintDB
v0.5.1
LINTDBは、Gen AI向けのマルチベクトルデータベースです。 LINTDBは、ColbertやPlaidなどの遅い相互作用をネイティブにサポートしています。
LINTDBは、加速されたマトリックス増殖のためにOpenblasに依存しています。インストールのプロセスをスムーズにするために、Condaのみをサポートします。
conda install lintdb -c deployql -c conda-forge
LINTDBは、複数のテナントがある場合でも、データを簡単にアップロードできます。
以下は、データベースの作成を示しています。 LINTDBは、埋め込み、フロート、文字列、さらには日付のインデックスに使用できる特定のデータベースのスキーマを定義します。フィールドは、フィルターとしてインデックス作成、保存、または使用できます。
from lintdb . core import (
Schema ,
ColbertField ,
QuantizerType ,
Configuration ,
IndexIVF
)
schema = Schema (
[
ColbertField ( 'colbert' , DataType . TENSOR , {
'dimensions' : 128 ,
'quantization' : QuantizerType . BINARIZER ,
"num_centroids" : 32768 ,
"num_iterations" : 10 ,
})
]
)
config = Configuration ()
index = IndexIVF ( index_path , schema , config )
)データベースのクエリ。インデックス作成したデータフィールドのいずれかを照会できます。
from lintdb . core import (
Query ,
VectorQueryNode
)
for id , query in zip ( data . qids , data . queries ):
embedding = checkpoint . queryFromText ( query )
e = np . squeeze ( embedding . cpu (). numpy (). astype ( 'float32' ))
query = Query (
VectorQueryNode (
TensorFieldValue ( 'colbert' , e )
)
)
results = index . search ( 0 , query , 10 )
print ( results )LINTDBは、遅い相互作用とより高度な検索モデルをサポートすることを目指しています。
LINTDBは、Gen AIの検索プラットフォームになることを目指しています。これを行うには、高いレベルのパフォーマンスを維持しながら、柔軟な検索方法とスコアリング方法をサポートする必要があると考えています。
LINTDBは、トークンレベルの埋め込みをサポートする2つのデータベースの1つです。もう1つはVespaです。
Vespaは、多くの機能を備えた堅牢で成熟した検索エンジンです。ただし、ベスパを開始および操作する学習曲線は高いです。埋め込まれたLINTDBでは、セットアップは必要ありません。 conda install lintdb -c deployql 、開始します。
Chromaは、PythonおよびJavaScriptで利用可能な組み込みベクターデータベースです。 LintDBは現在、Pythonのみをサポートしています。
ただし、Chromaとは異なり、LINTDBはマルチテナンシーサポートを提供します。
LINTDBの使用に関する詳細なドキュメントについては、公式ドキュメントを参照してください
LINTDBは、Apache 2.0ライセンスに基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。
私たちはあなたの助けが必要です！管理されたLINTDBが必要な場合は、手を差し伸べてお知らせください。
創設者のカレンダーでの予約時間：https：//calendar.app.google/fsymsztvt8sip9xx6
