VDTuner

---

يتم اختبار VDTuner على خادم تم تكوينه باستخدام CentOS 7.9.2009 (Linux 5.5.0) و Python 3.11. نظام إدارة قاعدة بيانات Vector المقيّم والمعقن هو Mivlus (الإصدار 2.3.1) و Vector-DB-b-b-b-bickark.

انظر preprint على http://arxiv.org/abs/2404.10413

التبعيات

1. تأكد من نشر Milvus (إصدار 2.3.1 مع Docker-Corm) على الخادم الخاص بك.
2. قم بتثبيت المرحلة القياسية ذات المعيار المترابط من مصدر GitHub.
3. تثبيت Python 3.11 و Botorch الحزمة اللازمة.

الاستعدادات

تعديل محرك Defualt في المعيار.

• وفقًا لمستند تكوين Milvus ، قم بتعديل (أو إضافة) ملف docker-compose.yml (ملف بدء تشغيل Milvus) و milvus.yaml (ملف تكوين Milvus لاستخدامه) و milvus.yaml.backup (ملف تكوين vector-db-benchmark-master/engine/servers/milvus-single-node .
• انسخ run_engine.sh المعدل إلى vector-db-benchmark-master/run_engine.sh .
• بعد ذلك ، يمكنك اختبار ما إذا كان Milvus تم نشره بنجاح على الخادم الخاص بك عن طريق اختبار مجموعة بيانات صغيرة نسبيًا. انتقل إلى vector-db-benchmark-master و RUN: sudo ./run_engine.sh "" "" random-100 .

تنزيل مجموعة البيانات.

• خذ قفازًا على سبيل المثال ، قم بتنزيله إلى vector-db-benchmark-master/datasets/glove-100-angular/glove-100-angular.hdf5 .

حدد طلبات البحث عن التشابه.

• قم بتعديل ملف vector-db-benchmark-master/experiments/configurations/milvus-single-node.json إلى تكوين فهرس defualt على النحو التالي. يمكن تعديل المعلمة parallel وفقًا لمواصفات الخادم الخاصة بك.

  [
    {
      "name" : " milvus-p10 " ,
      "engine" : " milvus " ,
      "connection_params" : {},
      "collection_params" : {},
      "search_params" : [
        {
          "parallel" : 10 ,
          "params" : {}
        }
      ],
      "upload_params" : {
        "parallel" : 10 ,
        "index_type" : " AUTOINDEX " ,
        "index_params" : {}
      }
    }
  ]

• حدد مجموعة البيانات وحد المهلة. في ملف auto-configure/vdtuner/utils.py (السطر 117) ، افترض أننا نختبر قفاز مجموعة البيانات ، بحد أقصى 15 دقيقة لكل إعادة عبء العمل:

   result = sp . run ( f'sudo timeout 900 { RUN_ENGINE_PATH } "" "" glove-100-angular' , shell = True , stdout = sp . PIPE )

حدد مسار ملف التكوين الخاص بك.

• لتشغيل VDTuner ، تحتاج إلى تحديد ملف التكوين لمعلمات ضبط ومسار القياس. هنا مثال.
  في الملف auto-configure/configure.py ، السطر 4-9:

   with open ( '/home/ytn/milvusTuning/auto-configure/index_param.json' , 'r' ) as f :
       INDEX_PARAM_DICT = json . load ( f )
   
   CONF_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/experiments/configurations/milvus-single-node.json'
   ORIGIN_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml.backup'
   ADJUST_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml'

  في ملف auto-configure/vdtuner/utils.py ، السطر 13-14:

   KNOB_PATH = r'/home/ytn/milvusTuning/auto-configure/whole_param.json'
   RUN_ENGINE_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/run_engine.sh' 

تشغيل vDtuner

ابدأ الضبط التلقائي

• مبروك! يمكنك تشغيل VDTuner لتحسين قاعدة بيانات المتجه الخاصة بك الآن! انتقل إلى auto-configure/vdtuner/ وتشغيل:

   python3.11 main_tuner.py

  لاحظ أن هذا سيستغرق وقتًا طويلاً للغاية (حوالي 30000 ثانية مقابل 200 تكرار مع قفاز مجموعة البيانات) ، لأن VDTuner يؤدي بشكل تكرار إعادة تشغيل عبء العمل وتوصية التكوين. يمكنك تغيير عدد التكرارات كما هو مطلوب في main_tuner.py .
• سيتم تسجيل نتائج التكوينات التي تم أخذ عينات منها والمعلومات الداخلية للمحسّنة record.log و pobo_record.log في الوقت الفعلي. فيما يلي مثال على الإخراج في record.log :

   [1] 125 {index_type: FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 230.5802223315391 0.9999830000000002 125
   [2] 214 {index_type: IVF_FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 1086.9213657571365 0.8496440000000001 88
   [3] 302 {index_type: IVF_SQ8, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 908.6127610863159 0.8461550000000001 88
  ...
  

اقتباس

إذا كنت تستخدم VDTUNER في مقالتك العلمية ، فيرجى الاستشهاد بورقة ICDE 2024:

 @inproceedings{yang2024vdtuner,
     title={VDTuner: Automated Performance Tuning for Vector Data Management Systems},
     author={Yang, Tiannuo and Hu, Wen and Peng, Wangqi and Li, Yusen and Li, Jianguo and Wang, Gang and Liu, Xiaoguang},
     booktitle={2024 IEEE 40th International Conference on Data Engineering (ICDE)},
     year={2024}
}

المساهمين

tiannuo yang [email protected]
wangqi peng [email protected]
- من LAB NBJL و ANT GROUP