valentinus

Valentinus

Vektor der nächsten Generation DB mit LMDB -Bindungen gebaut

Abhängigkeiten

• Bincode/Serde - Serialize/Deserialize
• LMDB -RS - Datenbankbindungen
• NDarray - Numpy Equivalent
• ORT/ONNX - Einbettungen

Erste Schritte

git clone https://github.com/kn0sys/valentinus && cd valentinus

Optionale Umgebungsvariablen

var	Verwendung	Standard
LMDB_USER	Arbeitsverzeichnis des Benutzers für Datenbank	$ Benutzer
LMDB_MAP_SIZE	Legt die Größe der maximalen Umgebungsgröße fest, dh Größe in Speicher/Festplatte aller Daten	20% des verfügbaren Speichers
ONNX_PARALLEL_THREADS	Parallel Ausführungsmodus für diese Sitzung	1
VALENTINUS_CUSTOM_DIM	Einbettungsabmessungen für benutzerdefinierte Modelle	All-Mini-LM-6-> 384
VALENTINUS_LMDB_ENV	Umgebung für die Datenbank (dh Test, prod)	prüfen

Tests

• HINWEIS: Für alle Tests sind derzeit das all-MiniLM-L6-v2_onnx Verzeichnis erforderlich
• Holen Sie sich das Modell.onnx und tokenizer.json vom Huggingface oder erstellen Sie sie

mkdir all-MiniLM-L6-v2_onnx
cd all-MiniLM-L6-v2_onnx && wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/model.onnx
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/special_tokens_map.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer_config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/vocab.txt

RUST_TEST_THREADS=1 cargo test

Beispiele

Siehe Beispiele

Referenz

Inspiriert von diesem Chromadb -Python -Tutorial