VDTuner

---

VDTuner diuji pada server yang dikonfigurasi dengan CentOS 7.9.2009 (Linux 5.5.0) dan Python 3.11. Sistem manajemen dan benchamark vektor vektor yang dievaluasi adalah Mivlus (versi 2.3.1) dan vektor-db-benchmark.

Lihat preprint di http://arxiv.org/abs/2404.10413

Dependensi

1. Pastikan Milvus (versi 2.3.1 dengan komposisi Docker) digunakan di server Anda.
2. Instal Benchmark Vector-DB-Benchmark dari GitHub Source.
3. Instal Python 3.11 dan Paket yang Diperlukan Botorch.

Persiapan

Ubah mesin defualt dalam benchmark.

• Menurut dokumen konfigurasi Milvus, ubah (atau tambahkan) file docker-compose.yml (file startup milvus), milvus.yaml (file konfigurasi milvus untuk menggunakan) dan milvus.yaml.backup (file konfigurasi Milvus vector-db-benchmark-master/engine/servers/milvus-single-node .
• Salin run_engine.sh yang dimodifikasi ke vector-db-benchmark-master/run_engine.sh .
• Setelah itu, Anda dapat menguji apakah Milvus berhasil digunakan di server Anda dengan menguji dataset yang relatif kecil. Pergi ke vector-db-benchmark-master dan lari: sudo ./run_engine.sh "" "" random-100 .

Unduh dataset.

• Ambil Glove sebagai contoh, unduh ke vector-db-benchmark-master/datasets/glove-100-angular/glove-100-angular.hdf5 .

Tentukan permintaan pencarian kesamaan.

• Ubah file vector-db-benchmark-master/experiments/configurations/milvus-single-node.json ke konfigurasi indeks defualt sebagai berikut. parallel parameter dapat dimodifikasi sesuai dengan spesifikasi server Anda.

  [
    {
      "name" : " milvus-p10 " ,
      "engine" : " milvus " ,
      "connection_params" : {},
      "collection_params" : {},
      "search_params" : [
        {
          "parallel" : 10 ,
          "params" : {}
        }
      ],
      "upload_params" : {
        "parallel" : 10 ,
        "index_type" : " AUTOINDEX " ,
        "index_params" : {}
      }
    }
  ]

• Tentukan dataset Anda dan batas waktu tunggu. Dalam File auto-configure/vdtuner/utils.py (baris 117), anggap kami menguji Dataset Glove, dengan maksimal 15 menit untuk setiap replay beban kerja:

   result = sp . run ( f'sudo timeout 900 { RUN_ENGINE_PATH } "" "" glove-100-angular' , shell = True , stdout = sp . PIPE )

Tentukan jalur file konfigurasi Anda.

• Untuk menjalankan VDTuner, Anda perlu menentukan file konfigurasi parameter tuning dan jalur benchmark. Inilah contohnya.
  Dalam File auto-configure/configure.py , baris 4-9:

   with open ( '/home/ytn/milvusTuning/auto-configure/index_param.json' , 'r' ) as f :
       INDEX_PARAM_DICT = json . load ( f )
   
   CONF_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/experiments/configurations/milvus-single-node.json'
   ORIGIN_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml.backup'
   ADJUST_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml'

  Dalam File auto-configure/vdtuner/utils.py , baris 13-14:

   KNOB_PATH = r'/home/ytn/milvusTuning/auto-configure/whole_param.json'
   RUN_ENGINE_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/run_engine.sh' 

Jalankan vdtuner

Mulai tuning otomatis

• Selamat! Anda dapat menjalankan vdtuner untuk mengoptimalkan database vektor Anda sekarang! Pergi ke auto-configure/vdtuner/ dan jalankan:

   python3.11 main_tuner.py

  Perhatikan bahwa ini akan memakan waktu yang sangat lama (sekitar 30000 untuk 200 iterasi dengan Dataset Glove), karena Vdtuner secara iteratif melakukan replay beban kerja dan rekomendasi konfigurasi. Anda dapat mengubah jumlah iterasi seperti yang diinginkan di main_tuner.py .
• Hasil konfigurasi sampel dan informasi internal Optimizer akan dicatat ke record.log dan pobo_record.log secara real time. Berikut adalah contoh output di record.log :

   [1] 125 {index_type: FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 230.5802223315391 0.9999830000000002 125
   [2] 214 {index_type: IVF_FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 1086.9213657571365 0.8496440000000001 88
   [3] 302 {index_type: IVF_SQ8, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 908.6127610863159 0.8461550000000001 88
  ...
  

Kutipan

Jika Anda menggunakan vdtuner di artikel ilmiah Anda, silakan kutip kertas ICDE 2024 kami:

 @inproceedings{yang2024vdtuner,
     title={VDTuner: Automated Performance Tuning for Vector Data Management Systems},
     author={Yang, Tiannuo and Hu, Wen and Peng, Wangqi and Li, Yusen and Li, Jianguo and Wang, Gang and Liu, Xiaoguang},
     booktitle={2024 IEEE 40th International Conference on Data Engineering (ICDE)},
     year={2024}
}

Kontributor

Tiannuo [email protected]
Wangqi [email protected]
- Dari Lab NBJL dan Grup Semut