valentinus

Valentinus

Vector DB de prochaine génération construit avec des liaisons LMDB

dépendances

• bincode / serde - sérialiser / désérialiser
• LMDB-RS - liaisons de base de données
• NDARRAY - Équivalent Numpy
• ORT / ONNX - Embeddings

commencer

git clone https://github.com/kn0sys/valentinus && cd valentinus

Variables d'environnement facultatives

var	usage	défaut
LMDB_USER	Répertoire de travail de l'utilisateur pour la base de données	$ Utilisateur
LMDB_MAP_SIZE	Définit la taille de l'environnement maximum, c'est-à-dire la taille en mémoire / disque de toutes les données	20% de la mémoire disponible
ONNX_PARALLEL_THREADS	Mode d'exécution parallèle pour cette session	1
VALENTINUS_CUSTOM_DIM	Dimensions intégrées pour les modèles personnalisés	All-MinI-LM-6 -> 384
VALENTINUS_LMDB_ENV	Environnement pour la base de données (IE Test, prod)	test

tests

• Remarque: Tous les tests nécessitent actuellement le répertoire all-MiniLM-L6-v2_onnx
• Obtenez le modèle.onnx et tokenizer.json de HuggingFace ou construisez-les

mkdir all-MiniLM-L6-v2_onnx
cd all-MiniLM-L6-v2_onnx && wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/model.onnx
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/special_tokens_map.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer_config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/vocab.txt

RUST_TEST_THREADS=1 cargo test

exemples

Voir des exemples

référence

inspiré par ce tutoriel Chromadb Python