LintDB
v0.5.1
LINTDB هي قاعدة بيانات متعددة المستويات مخصصة لـ GEN AI. LINTDB يدعم أصلاً التفاعل المتأخر مثل كولبير و Plaid.
يعتمد LintDB على OpenBlas لضرب المصفوفة Accerlated. لتنعيم عملية التثبيت ، نحن ندعم فقط كوندا.
conda install lintdb -c deployql -c conda-forge
يسهل LintDB تحميل البيانات ، حتى لو كان لديك العديد من المستأجرين.
يظهر أدناه إنشاء قاعدة بيانات. يحدد LintDB مخططًا لقاعدة بيانات معينة يمكن استخدامها لفهرسة التضمينات ، العوامات ، الأوتار ، حتى التواريخ. يمكن فهرسة الحقول أو تخزينها أو استخدامها كمرشح.
from lintdb . core import (
Schema ,
ColbertField ,
QuantizerType ,
Configuration ,
IndexIVF
)
schema = Schema (
[
ColbertField ( 'colbert' , DataType . TENSOR , {
'dimensions' : 128 ,
'quantization' : QuantizerType . BINARIZER ,
"num_centroids" : 32768 ,
"num_iterations" : 10 ,
})
]
)
config = Configuration ()
index = IndexIVF ( index_path , schema , config )
)والاستعلام عن قاعدة البيانات. يمكننا الاستعلام عن أي من حقول البيانات التي فهرستها.
from lintdb . core import (
Query ,
VectorQueryNode
)
for id , query in zip ( data . qids , data . queries ):
embedding = checkpoint . queryFromText ( query )
e = np . squeeze ( embedding . cpu (). numpy (). astype ( 'float32' ))
query = Query (
VectorQueryNode (
TensorFieldValue ( 'colbert' , e )
)
)
results = index . search ( 0 , query , 10 )
print ( results )يهدف LINTDB إلى دعم التفاعل المتأخر ونماذج استرجاع أكثر تقدماً.
يهدف LintDB إلى أن تكون منصة استرجاع لـ Gen AI. نحن نعتقد أنه للقيام بذلك ، يجب أن ندعم أساليب الاسترجاع والتسجيل المرنة مع الحفاظ على مستوى عال من الأداء.
LINTDB هي واحدة من قواعد البيانات اللذين يدعمان التضمينات الرمز المميز. والآخر هو فيسبا.
Vespa هو محرك بحث قوي وناضج مع العديد من الميزات. ومع ذلك ، فإن منحنى التعلم للبدء وتشغيل Vespa مرتفع. مع LintDB المضمنة ، لا يوجد إعداد مطلوب. conda install lintdb -c deployql وابدأ.
Chroma هي قاعدة بيانات متجه مدمجة متوفرة في Python و JavaScript. Lintdb حاليا يدعم فقط بيثون.
ومع ذلك ، على عكس Chroma ، تقدم LintDB دعمًا متعدد المستأجرين.
للحصول على وثائق مفصلة حول استخدام LINTDB ، راجع الوثائق الرسمية
تم ترخيص LintDB بموجب ترخيص Apache 2.0. انظر ملف الترخيص للحصول على التفاصيل.
نحن بحاجة إلى مساعدتك! إذا كنت تريد LINTDB المدارة ، فقم بالتواصل وإخبارنا بذلك.
وقت الكتاب في تقويم المؤسس: https://calendar.app.google/fsymsztvt8sip9xx6
