LintDB
v0.5.1
LintDB 는 Gen AI를위한 다중 벡터 데이터베이스입니다. Lintdb는 기본적으로 Colbert 및 Plaid와 같은 늦은 상호 작용을 지원합니다.
Lintdb는 Accerlated 행렬 곱셈을 위해 OpenBlas에 의존합니다. 설치 과정을 부드럽게하기 위해 Conda 만 지원합니다.
conda install lintdb -c deployql -c conda-forge
LintDB를 사용하면 여러 임차인이 있더라도 데이터를 쉽게 업로드 할 수 있습니다.
아래는 데이터베이스 생성을 보여줍니다. LintDB는 임베딩, 플로트, 문자열, 심지어 날짜를 색인화하는 데 사용할 수있는 주어진 데이터베이스의 스키마를 정의합니다. 필드는 필터로 인덱싱, 저장 또는 필터로 사용할 수 있습니다.
from lintdb . core import (
Schema ,
ColbertField ,
QuantizerType ,
Configuration ,
IndexIVF
)
schema = Schema (
[
ColbertField ( 'colbert' , DataType . TENSOR , {
'dimensions' : 128 ,
'quantization' : QuantizerType . BINARIZER ,
"num_centroids" : 32768 ,
"num_iterations" : 10 ,
})
]
)
config = Configuration ()
index = IndexIVF ( index_path , schema , config )
)데이터베이스 쿼리. 인덱스 된 데이터 필드를 쿼리 할 수 있습니다.
from lintdb . core import (
Query ,
VectorQueryNode
)
for id , query in zip ( data . qids , data . queries ):
embedding = checkpoint . queryFromText ( query )
e = np . squeeze ( embedding . cpu (). numpy (). astype ( 'float32' ))
query = Query (
VectorQueryNode (
TensorFieldValue ( 'colbert' , e )
)
)
results = index . search ( 0 , query , 10 )
print ( results )LintDB는 늦은 상호 작용과보다 고급 검색 모델을 지원하는 것을 목표로합니다.
LintDB는 Gen AI의 검색 플랫폼이되는 것을 목표로합니다. 이를 위해서는 높은 수준의 성능을 유지하면서 유연한 검색 및 점수 방법을 지원해야한다고 생각합니다.
LintDB는 토큰 레벨 임베딩을 지원하는 두 개의 데이터베이스 중 하나입니다. 다른 하나는 Vespa입니다.
Vespa는 많은 기능을 갖춘 강력하고 성숙한 검색 엔진입니다. 그러나 시작하고 작동하기위한 학습 곡선은 높습니다. 내장 된 LintDB를 사용하면 설정이 필요하지 않습니다. conda install lintdb -c deployql 및 시작하십시오.
Chroma는 Python 및 JavaScript에서 사용할 수있는 임베디드 벡터 데이터베이스입니다. LintDB는 현재 Python 만 지원합니다.
그러나 Chroma와 달리 LintDB는 다중 테넌시 지원을 제공합니다.
LintDB 사용에 대한 자세한 설명서는 공식 문서를 참조하십시오.
LintDB는 Apache 2.0 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.
우리는 당신의 도움이 필요합니다! Managed LintDB를 원한다면 연락하여 알려주십시오.
설립자 달력에 대한 예약 시간 : https://calendar.app.google/fsymsztvt8sip9xx6
