الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

نص بديل

فالنتينوس

ناقلات الجيل التالي DB مصنوع من روابط LMDB

التبعيات

  • bincode/serde - تسلسل/deserialize
  • LMDB -RS - روابط قاعدة البيانات
  • Ndarray - مكافئ Numpy
  • ORT/ONNX - التضمينات

ابدء 

git clone https://github.com/kn0sys/valentinus && cd valentinus

متغيرات البيئة الاختيارية

var الاستخدام تقصير
LMDB_USER دليل العمل للمستخدم لقاعدة البيانات مستخدم $
LMDB_MAP_SIZE يحدد حجم البيئة القصوى ، أي حجم في الذاكرة/القرص لجميع البيانات 20 ٪ من الذاكرة المتاحة
ONNX_PARALLEL_THREADS وضع التنفيذ الموازي لهذه الجلسة 1
VALENTINUS_CUSTOM_DIM أبعاد التضمينات للنماذج المخصصة All-Mini-LM-6-> 384
VALENTINUS_LMDB_ENV بيئة قاعدة البيانات (أي اختبار ، prod) امتحان

الاختبارات

  • ملاحظة: تتطلب جميع الاختبارات حاليًا دليل all-MiniLM-L6-v2_onnx
  • احصل على model.onnx و tokenizer.json من Huggingface 
mkdir all-MiniLM-L6-v2_onnx
cd all-MiniLM-L6-v2_onnx && wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/model.onnx
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/special_tokens_map.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer_config.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/tokenizer.json
wget https://huggingface.co/nigel-christian/all-MiniLM-L6-v2_onnx/resolve/main/vocab.txt

RUST_TEST_THREADS=1 cargo test

أمثلة

انظر الأمثلة

مرجع

مستوحاة من هذا البرنامج التعليمي Chromadb Python

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل