valentinus

Валентин

Вектор DB следующего поколения, построенный из привязки LMDB

зависимости

• bincode/serde - serialize/deserialize
• LMDB -RS - привязки базы данных
• ndarray - numpy эквивалент
• ORT/ONNX - Entgdings

начиная

git clone https://github.com/kn0sys/valentinus && cd valentinus

Дополнительные переменные среды

вар	Использование	по умолчанию
LMDB_USER	Рабочий каталог пользователя для базы данных	$ Пользователь
LMDB_MAP_SIZE	Устанавливает максимальный размер среды, то есть размер в памяти/диск всех данных	20% доступной памяти
ONNX_PARALLEL_THREADS	Параллельный режим выполнения для этого сеанса	1
VALENTINUS_CUSTOM_DIM	Встроенные размеры для пользовательских моделей	All-Mini-LM-6-> 384
VALENTINUS_LMDB_ENV	среда для базы данных (т.е. тест, Prod)	тест

тесты

• Примечание. Все тесты в настоящее время требуют каталога all-MiniLM-L6-v2_onnx
• Получите Model.onnx и Tokenizer.json от huggingface или построить их

mkdir all-MiniLM-L6-v2_onnx
cd all-MiniLM-L6-v2_onnx && wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/model.onnx
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/special_tokens_map.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer_config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/vocab.txt

RUST_TEST_THREADS=1 cargo test

примеры

Смотрите примеры

ссылка

Вдохновлен этим учебником Python Chromadb