VDTuner

---

VDTuner ได้รับการทดสอบบนเซิร์ฟเวอร์ที่กำหนดค่าด้วย CentOS 7.9.2009 (Linux 5.5.0) และ Python 3.11 ระบบการจัดการฐานข้อมูลเวกเตอร์ที่ประเมินและ Benchamark คือ MIVLUS (เวอร์ชัน 2.3.1) และเบี้ยประกัน Vector-DB

ดู preprint ที่ http://arxiv.org/abs/2404.10413

การพึ่งพาอาศัยกัน

1. ตรวจสอบให้แน่ใจว่า Milvus (2.3.1 เวอร์ชันที่มี Docker-compose) ถูกปรับใช้บนเซิร์ฟเวอร์ของคุณ
2. ติดตั้งเบนช์เบนช์เบนช์เบนช์-DB จากแหล่ง GitHub
3. ติดตั้ง Python 3.11 และ Botorch แพ็คเกจที่จำเป็น

การเตรียมการ

ปรับเปลี่ยนเอ็นจิ้น defualt ในเกณฑ์มาตรฐาน

• ตามเอกสารการกำหนดค่า Milvus, แก้ไข (หรือเพิ่ม) ไฟล์ docker-compose.yml (ไฟล์เริ่มต้น milvus), milvus.yaml (ไฟล์การกำหนดค่า milvus สำหรับการใช้งาน) และ milvus.yaml.backup (ไฟล์การกำหนดค่า vector-db-benchmark-master/engine/servers/milvus-single-node
• คัดลอก run_engine.sh ที่แก้ไขไปยัง vector-db-benchmark-master/run_engine.sh
• หลังจากนั้นคุณสามารถทดสอบได้ว่า Milvus ปรับใช้ได้สำเร็จบนเซิร์ฟเวอร์ของคุณโดยทดสอบชุดข้อมูลที่ค่อนข้างเล็ก ไปที่ vector-db-benchmark-master และ Run: sudo ./run_engine.sh "" "" random-100

ดาวน์โหลดชุดข้อมูล

• ใช้ถุงมือเป็นตัวอย่างดาวน์โหลดไปยัง vector-db-benchmark-master/datasets/glove-100-angular/glove-100-angular.hdf5

ระบุคำขอค้นหาที่คล้ายคลึงกัน

• แก้ไขไฟล์ vector-db-benchmark-master/experiments/configurations/milvus-single-node.json ไปยังการกำหนดค่าดัชนี defualt ดังต่อไปนี้ พารามิเตอร์ parallel สามารถแก้ไขได้ตามข้อกำหนดของเซิร์ฟเวอร์ของคุณ

  [
    {
      "name" : " milvus-p10 " ,
      "engine" : " milvus " ,
      "connection_params" : {},
      "collection_params" : {},
      "search_params" : [
        {
          "parallel" : 10 ,
          "params" : {}
        }
      ],
      "upload_params" : {
        "parallel" : 10 ,
        "index_type" : " AUTOINDEX " ,
        "index_params" : {}
      }
    }
  ]

• ระบุชุดข้อมูลและขีด จำกัด การหมดเวลาของคุณ ในไฟล์ auto-configure/vdtuner/utils.py (บรรทัด 117) สมมติว่าเราทดสอบถุงมือชุดข้อมูลด้วยสูงสุด 15 นาทีสำหรับการเล่นซ้ำแต่ละเวิร์กโหลด:

   result = sp . run ( f'sudo timeout 900 { RUN_ENGINE_PATH } "" "" glove-100-angular' , shell = True , stdout = sp . PIPE )

ระบุเส้นทางไฟล์กำหนดค่าของคุณ

• ในการเรียกใช้ VDTuner คุณต้องระบุไฟล์การกำหนดค่าของพารามิเตอร์การปรับแต่งและเส้นทางมาตรฐาน นี่คือตัวอย่าง
  ในไฟล์ auto-configure/configure.py , บรรทัด 4-9:

   with open ( '/home/ytn/milvusTuning/auto-configure/index_param.json' , 'r' ) as f :
       INDEX_PARAM_DICT = json . load ( f )
   
   CONF_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/experiments/configurations/milvus-single-node.json'
   ORIGIN_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml.backup'
   ADJUST_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml'

  ในไฟล์ auto-configure/vdtuner/utils.py , บรรทัด 13-14:

   KNOB_PATH = r'/home/ytn/milvusTuning/auto-configure/whole_param.json'
   RUN_ENGINE_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/run_engine.sh' 

เรียกใช้ vdtuner

เริ่มการปรับจูนอัตโนมัติ

• ยินดีด้วย! คุณสามารถเรียกใช้ VDTuner เพื่อเพิ่มประสิทธิภาพฐานข้อมูลเวกเตอร์ของคุณได้ทันที! ไปที่ auto-configure/vdtuner/ และเรียกใช้:

   python3.11 main_tuner.py

  โปรดทราบว่าสิ่งนี้จะใช้เวลานานมาก (ประมาณ 30000s สำหรับการวนซ้ำ 200 ครั้งพร้อมถุงมือชุดข้อมูล) เนื่องจาก VDTuner ซ้ำ ๆ ทำการเล่นซ้ำเวิร์กโหลดและคำแนะนำการกำหนดค่า คุณสามารถเปลี่ยนจำนวนการวนซ้ำตามที่ต้องการใน main_tuner.py
• ผลลัพธ์ของการกำหนดค่าตัวอย่างและข้อมูลภายในของ Optimizer จะถูกบันทึกไปที่ record.log และ pobo_record.log แบบเรียลไทม์ นี่คือตัวอย่างเอาต์พุตใน record.log :

   [1] 125 {index_type: FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 230.5802223315391 0.9999830000000002 125
   [2] 214 {index_type: IVF_FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 1086.9213657571365 0.8496440000000001 88
   [3] 302 {index_type: IVF_SQ8, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 908.6127610863159 0.8461550000000001 88
  ...
  

การอ้างอิง

หากคุณใช้ vdtuner ในบทความทางวิทยาศาสตร์ของคุณโปรดอ้างอิง ICDE 2024 Paper ของเรา:

 @inproceedings{yang2024vdtuner,
     title={VDTuner: Automated Performance Tuning for Vector Data Management Systems},
     author={Yang, Tiannuo and Hu, Wen and Peng, Wangqi and Li, Yusen and Li, Jianguo and Wang, Gang and Liu, Xiaoguang},
     booktitle={2024 IEEE 40th International Conference on Data Engineering (ICDE)},
     year={2024}
}

ผู้มีส่วนร่วม

tiannuo yang [email protected]
wangqi peng [email protected]
- จาก Lab NBJL และ ANT Group