VDTuner

---

VDTuner wird auf einem Server getestet, der mit CentOS 7.9.2009 (Linux 5.5.0) und Python 3.11 konfiguriert ist. Das ausgewertete Vektor-Datenbankmanagementsystem und Benchamark sind MIVLUS (Version 2.3.1) und Vector-DB-Benchmark.

Siehe die Präprint unter http://arxiv.org/abs/2404.10413

Abhängigkeiten

1. Stellen Sie sicher, dass Milvus (2.3.1 Version mit Docker-Compose) auf Ihrem Server bereitgestellt wird.
2. Installieren Sie Benchmark Vector-DB-Benchmark von GitHub Source.
3. Installieren Sie Python 3.11 und das notwendige Paket -Botorch.

Vorbereitungen

Ändern Sie den Entlegermotor in Benchmark.

• Gemäß dem Milvus-Konfigurationsdokument ändern (oder fügen Sie die Datei docker-compose.yml (Milvus-Startdatei), milvus.yaml (Milvus-Konfigurationsdatei für die Verwendung) und milvus.yaml.backup (Milvus-Konfigurationsdatei für Kopierungen) in Ihrem Benchmark-Path vector-db-benchmark-master/engine/servers/milvus-single-node .
• Kopieren Sie die modifizierte run_engine.sh in vector-db-benchmark-master/run_engine.sh .
• Danach können Sie testen, ob Milvus erfolgreich auf Ihrem Server bereitgestellt wird, indem Sie einen relativ kleinen Datensatz testen. Gehen Sie zu vector-db-benchmark-master und rennen Sie: sudo ./run_engine.sh "" "" random-100 .

Datensatz herunterladen.

• Nehmen Sie als Beispiel den Handschuh, laden Sie es auf vector-db-benchmark-master/datasets/glove-100-angular/glove-100-angular.hdf5 herunter.

Geben Sie die Suchanforderungen der Ähnlichkeit an.

• Ändern Sie die Datei vector-db-benchmark-master/experiments/configurations/milvus-single-node.json in eine Entfalt-Index-Konfiguration wie folgt. Der parallel der Parameter kann gemäß Ihren Serverspezifikationen geändert werden.

  [
    {
      "name" : " milvus-p10 " ,
      "engine" : " milvus " ,
      "connection_params" : {},
      "collection_params" : {},
      "search_params" : [
        {
          "parallel" : 10 ,
          "params" : {}
        }
      ],
      "upload_params" : {
        "parallel" : 10 ,
        "index_type" : " AUTOINDEX " ,
        "index_params" : {}
      }
    }
  ]

• Geben Sie Ihr Datensatz und Ihr Zeitüberschreitungslimit an. In der Datei auto-configure/vdtuner/utils.py (Zeile 117) gehen Sie davon aus, dass wir den Datensatzhandschuh mit maximal 15 Minuten für jede Workload-Wiederholung testen:

   result = sp . run ( f'sudo timeout 900 { RUN_ENGINE_PATH } "" "" glove-100-angular' , shell = True , stdout = sp . PIPE )

Geben Sie Ihren Konfigurationsdateipfad an.

• Um VDTuner auszuführen, müssen Sie die Konfigurationsdatei der Abstimmungsparameter und des Benchmark -Pfades angeben. Hier ist ein Beispiel.
  In der Datei auto-configure/configure.py , Zeile 4-9:

   with open ( '/home/ytn/milvusTuning/auto-configure/index_param.json' , 'r' ) as f :
       INDEX_PARAM_DICT = json . load ( f )
   
   CONF_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/experiments/configurations/milvus-single-node.json'
   ORIGIN_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml.backup'
   ADJUST_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml'

  In der Datei auto-configure/vdtuner/utils.py , Zeile 13-14:

   KNOB_PATH = r'/home/ytn/milvusTuning/auto-configure/whole_param.json'
   RUN_ENGINE_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/run_engine.sh' 

Führen Sie vdtuner aus

Starten Sie automatisch abtun

• Glückwunsch! Sie können VDTuner ausführen, um Ihre Vektor -Datenbank jetzt zu optimieren! Gehen Sie zu auto-configure/vdtuner/ und rennen Sie:

   python3.11 main_tuner.py

  Beachten Sie, dass dies sehr lange dauern würde (ca. 30000S für 200 Iterationen mit Datensatzhandschuh), da VDTuner iterativ die Replay- und Konfigurationsempfehlung für Workloads durchführt. Sie können die Anzahl der Iterationen wie in main_tuner.py ändern.
• Die Ergebnisse der ausprobierten Konfigurationen und der internen Informationen von Optimizer werden in Echtzeit auf record.log angemeldet.log und pobo_record.log . Hier ist eine Beispielausgabe in record.log :

   [1] 125 {index_type: FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 230.5802223315391 0.9999830000000002 125
   [2] 214 {index_type: IVF_FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 1086.9213657571365 0.8496440000000001 88
   [3] 302 {index_type: IVF_SQ8, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 908.6127610863159 0.8461550000000001 88
  ...
  

Zitat

Wenn Sie VDTuner in Ihrem wissenschaftlichen Artikel verwenden, zitieren Sie bitte unser ICDE 2024 -Papier:

 @inproceedings{yang2024vdtuner,
     title={VDTuner: Automated Performance Tuning for Vector Data Management Systems},
     author={Yang, Tiannuo and Hu, Wen and Peng, Wangqi and Li, Yusen and Li, Jianguo and Wang, Gang and Liu, Xiaoguang},
     booktitle={2024 IEEE 40th International Conference on Data Engineering (ICDE)},
     year={2024}
}

Mitwirkende

Tiannuo yang [email protected]
Wangqi peng [email protected]
- aus Labor NBJL und ANT Group