valentinus

발렌티 누스

LMDB 바인딩으로 구축 된 차세대 벡터 DB

의존성

• BINCODE/SERDE- 직렬화/사제 화
• LMDB -RS- 데이터베이스 바인딩
• NDARRAY- Numpy Equivalent
• ORT/ONNX- 임베딩

시작하기

git clone https://github.com/kn0sys/valentinus && cd valentinus

선택적 환경 변수

var	용법	기본
LMDB_USER	데이터베이스 사용자의 작업 디렉토리	$ 사용자
LMDB_MAP_SIZE	최대 환경 크기, 즉 모든 데이터의 메모리/디스크의 크기를 설정합니다.	사용 가능한 메모리의 20%
ONNX_PARALLEL_THREADS	이 세션의 병렬 실행 모드	1
VALENTINUS_CUSTOM_DIM	맞춤형 모델의 임베딩 크기	All-Mini-LM-6-> 384
VALENTINUS_LMDB_ENV	데이터베이스 환경 (예 : Test, Prod)	시험

테스트

• 참고 : 모든 테스트에는 현재 all-MiniLM-L6-v2_onnx 디렉토리가 필요합니다
• model.onnx 및 tokenizer.json을 껴안거나 구축하십시오.

mkdir all-MiniLM-L6-v2_onnx
cd all-MiniLM-L6-v2_onnx && wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/model.onnx
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/special_tokens_map.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer_config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/vocab.txt

RUST_TEST_THREADS=1 cargo test

예

예를 참조하십시오

참조

이 ChromADB Python 튜토리얼에서 영감을 얻었습니다