valentinus

Valentinus

使用LMDB綁定構建的下一代矢量數據庫

依賴性

• bincode/serde-序列化/值
• LMDB -RS-數據庫綁定
• ndarray- numpy等效
• ORT/ONNX-嵌入

入門

git clone https://github.com/kn0sys/valentinus && cd valentinus

可選環境變量

var	用法	預設
LMDB_USER	數據庫用戶的工作目錄	$用戶
LMDB_MAP_SIZE	設置最大環境大小，即記憶中的大小/所有數據的磁盤	20％可用的內存
ONNX_PARALLEL_THREADS	此會話的並行執行模式	1
VALENTINUS_CUSTOM_DIM	自定義模型的嵌入尺寸	All-Mini-LM-6-> 384
VALENTINUS_LMDB_ENV	數據庫的環境（IE測試，產品）	測試

測試

• 注意：當前所有測試都需要all-MiniLM-L6-v2_onnx目錄
• 從擁抱面獲取Model.Onnx和Tokenizer.json

mkdir all-MiniLM-L6-v2_onnx
cd all-MiniLM-L6-v2_onnx && wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/model.onnx
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/special_tokens_map.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer_config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/vocab.txt

RUST_TEST_THREADS=1 cargo test

例子

見示例

參考

受這個Chromadb Python教程的啟發