valentinus

Valentinus

DB Vektor Generasi Berikutnya Dibangun dengan Binding LMDB

dependensi

• Bincode/Serde - Serialize/Deserialize
• LMDB -RS - Binding Database
• ndarray - setara numpy
• ort/onnx - embeddings

Memulai

git clone https://github.com/kn0sys/valentinus && cd valentinus

Variabel lingkungan opsional

var	penggunaan	bawaan
LMDB_USER	Direktori kerja pengguna untuk database	$ Pengguna
LMDB_MAP_SIZE	Menetapkan ukuran lingkungan maks, ukuran ukuran dalam memori/disk dari semua data	20% dari memori yang tersedia
ONNX_PARALLEL_THREADS	mode eksekusi paralel untuk sesi ini	1
VALENTINUS_CUSTOM_DIM	dimensi embeddings untuk model khusus	All-Mini-LM-6-> 384
VALENTINUS_LMDB_ENV	lingkungan untuk database (yaitu tes, prod)	tes

tes

• Catatan: Semua tes saat ini memerlukan direktori all-MiniLM-L6-v2_onnx
• Dapatkan Model.onnx dan Tokenizer.json dari Huggingface atau Bangunnya

mkdir all-MiniLM-L6-v2_onnx
cd all-MiniLM-L6-v2_onnx && wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/model.onnx
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/special_tokens_map.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer_config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/vocab.txt

RUST_TEST_THREADS=1 cargo test

contoh

Lihat contoh

referensi

Terinspirasi oleh tutorial Python Chromadb ini