LintDB

lintdb

LINTDB是一個用於AI代的多矢量數據庫。 LintDB本地支持Colbert和Plaid等晚期互動。

關鍵功能

• 多向量支持：LINTDB每個文檔ID存儲多個向量，併計算跨向量的最大相似性以確定相關性。
• 比特級壓縮：LINTDB完全實現了格子的位壓縮，將128個尺寸嵌入到低至16個字節的位置。
• 嵌入式：LINTDB可以直接嵌入您的Python應用程序中。無需設置單獨的數據庫。
• 對格子和科爾伯特的全力支持：lintdb建立在格子和科爾伯特。
• 過濾：LINTDB支持在模式中的任何字段上進行過濾。

安裝

LINTDB依靠OpenBlas進行加速矩陣乘法。為了平滑安裝過程，我們只支持Conda。

 conda install lintdb -c deployql -c conda-forge

用法

LINTDB可以輕鬆地上傳數據，即使您有多個租戶。

下面顯示創建數據庫。 LINTDB定義了給定數據庫的架構，該模式可用於索引嵌入，浮點，字符串甚至日期。可以將字段索引，存儲或用作過濾器。

 from lintdb . core import (
  Schema ,
  ColbertField ,
  QuantizerType ,
  Configuration ,
  IndexIVF
)

schema = Schema (
  [
    ColbertField ( 'colbert' , DataType . TENSOR , {
      'dimensions' : 128 ,
      'quantization' : QuantizerType . BINARIZER ,
      "num_centroids" : 32768 ,
      "num_iterations" : 10 ,
    })
  ]
)
config = Configuration ()
index = IndexIVF ( index_path , schema , config )
)

並查詢數據庫。我們可以查詢我們索引的任何數據字段。

 from lintdb . core import (
Query ,
VectorQueryNode
)
for id , query in zip ( data . qids , data . queries ):
  embedding = checkpoint . queryFromText ( query )
e = np . squeeze ( embedding . cpu (). numpy (). astype ( 'float32' ))

query = Query (
  VectorQueryNode (
    TensorFieldValue ( 'colbert' , e )
  )
)
results = index . search ( 0 , query , 10 )
print ( results )

晚期相互作用模型支持

LINTDB旨在支持晚期互動和更高級的檢索模型。

• 帶格子的ColbertV2
• xtr

路線圖

LINTDB的目標是成為AI代的檢索平台。我們認為，要做到這一點，我們必須支持靈活的檢索和得分方法，同時保持高度的性能。

• 提高性能和可伸縮性
• 改進的基準測試
• 支持城堡以進行可擴展的晚期互動
• 在檢索管道中支持可學習的查詢適配器
• 增強對任意檢索和排名功能的支持
• 支持可學習的排名功能

與其他向量數據庫進行比較

LINTDB是支持令牌級嵌入的兩個數據庫之一。另一個是Vespa。

令牌級嵌入

Vespa

VESPA是具有許多功能的強大，成熟的搜索引擎。但是，開始和操作VESPA的學習曲線很高。使用嵌入式LINTDB，無需設置。 conda install lintdb -c deployql並開始。

嵌入

色度

Chroma是Python和JavaScript中可用的嵌入式矢量數據庫。 LINTDB目前僅支持Python。

但是，與色度不同，LINTDB提供了多租賃支持。

文件

有關使用LINTDB的詳細文檔，請參閱官方文檔

執照

LINTDB已獲得Apache 2.0許可證的許可。有關詳細信息，請參見許可證文件。

我們想提供託管服務

我們需要您的幫助！如果您想要一個託管的lintDB，請伸出手並告訴我們。

創始人日曆上的預訂時間：https：//calendar.app.google/fsymsztvt8sip9xxx6