valentinus

Valentinus

使用LMDB绑定构建的下一代矢量数据库

依赖性

• bincode/serde-序列化/值
• LMDB -RS-数据库绑定
• ndarray- numpy等效
• ORT/ONNX-嵌入

入门

git clone https://github.com/kn0sys/valentinus && cd valentinus

可选环境变量

var	用法	默认
LMDB_USER	数据库用户的工作目录	$用户
LMDB_MAP_SIZE	设置最大环境大小，即记忆中的大小/所有数据的磁盘	20％可用的内存
ONNX_PARALLEL_THREADS	此会话的并行执行模式	1
VALENTINUS_CUSTOM_DIM	自定义模型的嵌入尺寸	All-Mini-LM-6-> 384
VALENTINUS_LMDB_ENV	数据库的环境（IE测试，产品）	测试

测试

• 注意：当前所有测试都需要all-MiniLM-L6-v2_onnx目录
• 从拥抱面获取Model.Onnx和Tokenizer.json

mkdir all-MiniLM-L6-v2_onnx
cd all-MiniLM-L6-v2_onnx && wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/model.onnx
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/special_tokens_map.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer_config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/vocab.txt

RUST_TEST_THREADS=1 cargo test

例子

见示例

参考

受这个Chromadb Python教程的启发