LintDB

Lintdb

Lintdb adalah database multi-vektor yang dimaksudkan untuk Gen AI. Lintdb secara asli mendukung interaksi terlambat seperti Colbert dan Plaid.

Fitur utama

• Dukungan multi vektor : Lintdb menyimpan beberapa vektor per ID dokumen dan menghitung kesamaan maksimal di seluruh vektor untuk menentukan relevansi.
• Kompresi Level Bit : Lintdb sepenuhnya mengimplementasikan kompresi bit Plaid, menyimpan 128 dimensi embeddings dalam serendah 16 byte.
• Tertanam : Lintdb dapat disematkan langsung ke dalam aplikasi Python Anda. Tidak perlu mengatur database terpisah.
• Dukungan penuh untuk Kotak -kotak dan Colbert : Lintdb dibangun di sekitar kotak -kotak dan Colbert.
• Penyaringan : Lintdb mendukung penyaringan di bidang apa pun dalam skema.

Instalasi

Lintdb bergantung pada OpenBlas untuk multiplikasi matriks yang diakerat. Untuk menghaluskan proses pemasangan, kami hanya mendukung Conda.

 conda install lintdb -c deployql -c conda-forge

Penggunaan

Lintdb memudahkan mengunggah data, bahkan jika Anda memiliki beberapa penyewa.

Di bawah ini menunjukkan membuat database. Lintdb mendefinisikan skema untuk database tertentu yang dapat digunakan untuk mengindeks embeddings, float, string, bahkan tanggal. Bidang dapat diindeks, disimpan, atau digunakan sebagai filter.

 from lintdb . core import (
  Schema ,
  ColbertField ,
  QuantizerType ,
  Configuration ,
  IndexIVF
)

schema = Schema (
  [
    ColbertField ( 'colbert' , DataType . TENSOR , {
      'dimensions' : 128 ,
      'quantization' : QuantizerType . BINARIZER ,
      "num_centroids" : 32768 ,
      "num_iterations" : 10 ,
    })
  ]
)
config = Configuration ()
index = IndexIVF ( index_path , schema , config )
)

Dan menanyakan database. Kami dapat menanyakan salah satu bidang data yang kami indeks.

 from lintdb . core import (
Query ,
VectorQueryNode
)
for id , query in zip ( data . qids , data . queries ):
  embedding = checkpoint . queryFromText ( query )
e = np . squeeze ( embedding . cpu (). numpy (). astype ( 'float32' ))

query = Query (
  VectorQueryNode (
    TensorFieldValue ( 'colbert' , e )
  )
)
results = index . search ( 0 , query , 10 )
print ( results )

Dukungan Model Interaksi Terlambat

Lintdb bertujuan untuk mendukung interaksi yang terlambat dan model pengambilan yang lebih maju.

• Colbertv2 dengan kotak -kotak
• Xtr

Peta jalan

Lintdb bertujuan untuk menjadi platform pengambilan untuk Gen AI. Kami percaya bahwa untuk melakukan ini, kami harus mendukung metode pengambilan yang fleksibel dan penilaian sambil mempertahankan tingkat kinerja yang tinggi.

• Meningkatkan kinerja dan skalabilitas
• Tolok ukur yang ditingkatkan
• Dukung Benteng untuk Interaksi Akhir yang Dapat Diukur
• Dukung adaptor kueri yang dapat dipelajari dalam pipa pengambilan
• Tingkatkan dukungan untuk fungsi pengambilan sewenang -wenang dan peringkat
• Mendukung fungsi peringkat yang dapat dipelajari

Perbandingan dengan database vektor lainnya

Lintdb adalah salah satu dari dua basis data yang mendukung embeddings tingkat token. Yang lain adalah Vespa.

Token level embeddings

Vespa

Vespa adalah mesin pencari yang kuat dan matang dengan banyak fitur. Namun, kurva belajar untuk memulai dan mengoperasikan Vespa tinggi. Dengan Lintdb tertanam, tidak ada pengaturan yang diperlukan. conda install lintdb -c deployql dan memulai.

Tertanam

Chroma

Chroma adalah database vektor tertanam yang tersedia dalam Python dan JavaScript. Lintdb saat ini hanya mendukung Python.

Namun, tidak seperti Chroma, Lintdb menawarkan dukungan multi-tenancy.

Dokumentasi

Untuk dokumentasi terperinci tentang penggunaan Lintdb, lihat dokumentasi resmi

Lisensi

Lintdb dilisensikan di bawah lisensi Apache 2.0. Lihat file lisensi untuk detailnya.

Kami ingin menawarkan layanan terkelola

Kami membutuhkan bantuan Anda! Jika Anda menginginkan Lintdb yang dikelola, hubungi dan beri tahu kami.

Pesan Waktu di Kalender Pendiri: https://calendar.app.google/fsymsztvt8sip9xx6