valentinus

วาเลนตินัส

DB Vector Generation Generation สร้างด้วยการผูก LMDB

การพึ่งพาอาศัยกัน

• Bincode/Serde - serialize/deserialize
• LMDB -RS - การผูกฐานข้อมูล
• ndarray - Numpy เทียบเท่า
• ORT/ONNX - EMBEDDING

เริ่มต้น

git clone https://github.com/kn0sys/valentinus && cd valentinus

ตัวแปรสภาพแวดล้อมเสริม

วาจา	การใช้งาน	ค่าเริ่มต้น
LMDB_USER	ไดเรกทอรีการทำงานของผู้ใช้สำหรับฐานข้อมูล	ผู้ใช้ $
LMDB_MAP_SIZE	ตั้งค่าขนาดสภาพแวดล้อมสูงสุดเช่นขนาดในหน่วยความจำ/ดิสก์ของข้อมูลทั้งหมด	20% ของหน่วยความจำที่มีอยู่
ONNX_PARALLEL_THREADS	โหมดการดำเนินการแบบขนานสำหรับเซสชันนี้	1
VALENTINUS_CUSTOM_DIM	มิติฝังตัวสำหรับโมเดลที่กำหนดเอง	All-Mini-lm-6-> 384
VALENTINUS_LMDB_ENV	สภาพแวดล้อมสำหรับฐานข้อมูล (เช่นการทดสอบ, prod)	ทดสอบ

การทดสอบ

• หมายเหตุ: การทดสอบทั้งหมดในปัจจุบันต้องการไดเร็กทอรี all-MiniLM-L6-v2_onnx
• รับ model.onnx และ tokenizer.json จาก HuggingFace หรือสร้างพวกเขา

mkdir all-MiniLM-L6-v2_onnx
cd all-MiniLM-L6-v2_onnx && wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/model.onnx
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/special_tokens_map.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer_config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/vocab.txt

RUST_TEST_THREADS=1 cargo test

ตัวอย่าง

ดูตัวอย่าง

อ้างอิง

แรงบันดาลใจจากบทช่วยสอน Chromadb Python นี้