VDTuner

---

VDTuner se prueba en un servidor configurado con CentOS 7.9.2009 (Linux 5.5.0) y Python 3.11. El sistema de gestión de bases de datos de vectores evaluado y el benchamark es MIVLUS (versión 2.3.1) y Vector-DB-Benchmark.

Vea la preimpresión en http://arxiv.org/abs/2404.10413

Dependencias

1. Asegúrese de que Milvus (versión 2.3.1 con Docker-Compose) esté implementado en su servidor.
2. Instale Benchmark Vector-DB-Benchmark desde GitHub Source.
3. Instale Python 3.11 y el paquete necesario Botorch.

Preparativos

Modifique el motor Defualt en Benchmark.

• De acuerdo con el documento de configuración de Milvus, modifique (o agregue) el archivo docker-compose.yml (archivo de inicio de Milvus), milvus.yaml (archivo de configuración de Milvus para utilizar) y milvus.yaml.backup (archivo de configuración de Milvus para copiar y modificar) en su benchmark vector-db-benchmark-master/engine/servers/milvus-single-node .
• Copie el run_engine.sh modificado a vector-db-benchmark-master/run_engine.sh .
• Después de eso, puede probar si Milvus se implementó con éxito en su servidor probando un conjunto de datos relativamente pequeño. Vaya a vector-db-benchmark-master y ejecute: sudo ./run_engine.sh "" "" random-100 .

Descargar DataSet.

• Tome el guante como ejemplo, descárguelo a vector-db-benchmark-master/datasets/glove-100-angular/glove-100-angular.hdf5 .

Especifique las solicitudes de búsqueda de similitud.

• Modifique el archivo vector-db-benchmark-master/experiments/configurations/milvus-single-node.json a una configuración de índice Defualt de la siguiente manera. El paralelo parallel se puede modificar de acuerdo con las especificaciones de su servidor.

  [
    {
      "name" : " milvus-p10 " ,
      "engine" : " milvus " ,
      "connection_params" : {},
      "collection_params" : {},
      "search_params" : [
        {
          "parallel" : 10 ,
          "params" : {}
        }
      ],
      "upload_params" : {
        "parallel" : 10 ,
        "index_type" : " AUTOINDEX " ,
        "index_params" : {}
      }
    }
  ]

• Especifique su conjunto de datos y límite de tiempo de espera. En el archivo auto-configure/vdtuner/utils.py (línea 117), suponga que probamos el guante del conjunto de datos, con un máximo de 15 minutos para cada repetición de carga de trabajo:

   result = sp . run ( f'sudo timeout 900 { RUN_ENGINE_PATH } "" "" glove-100-angular' , shell = True , stdout = sp . PIPE )

Especifique la ruta de su archivo de configuración.

• Para ejecutar VDTuner, debe especificar el archivo de configuración de los parámetros de sintonización y la ruta de referencia. Aquí hay un ejemplo.
  En el archivo auto-configure/configure.py , línea 4-9:

   with open ( '/home/ytn/milvusTuning/auto-configure/index_param.json' , 'r' ) as f :
       INDEX_PARAM_DICT = json . load ( f )
   
   CONF_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/experiments/configurations/milvus-single-node.json'
   ORIGIN_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml.backup'
   ADJUST_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml'

  En Archivo auto-configure/vdtuner/utils.py , Línea 13-14:

   KNOB_PATH = r'/home/ytn/milvusTuning/auto-configure/whole_param.json'
   RUN_ENGINE_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/run_engine.sh' 

Ejecutar vdtuner

Iniciar el ajuste automático

• ¡Felicidades! ¡Puede ejecutar VDTuner para optimizar su base de datos vectorial ahora! Vaya a auto-configure/vdtuner/ y ejecute:

   python3.11 main_tuner.py

  Tenga en cuenta que esto tomaría mucho tiempo (alrededor de 30000 para 200 iteraciones con el guante de conjunto de datos), porque VDTuner realiza iterativamente la repetición de la carga de trabajo y la recomendación de configuración. Puede cambiar el número de iteraciones como se desea en main_tuner.py .
• Los resultados de las configuraciones muestreadas y la información interna del Optimizer se pobo_record.log para record.log . Aquí hay una salida de ejemplo en record.log :

   [1] 125 {index_type: FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 230.5802223315391 0.9999830000000002 125
   [2] 214 {index_type: IVF_FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 1086.9213657571365 0.8496440000000001 88
   [3] 302 {index_type: IVF_SQ8, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 908.6127610863159 0.8461550000000001 88
  ...
  

Citación

Si usa VDTuner en su artículo científico, cite nuestro artículo ICDE 2024:

 @inproceedings{yang2024vdtuner,
     title={VDTuner: Automated Performance Tuning for Vector Data Management Systems},
     author={Yang, Tiannuo and Hu, Wen and Peng, Wangqi and Li, Yusen and Li, Jianguo and Wang, Gang and Liu, Xiaoguang},
     booktitle={2024 IEEE 40th International Conference on Data Engineering (ICDE)},
     year={2024}
}

Colaboradores

Tiannuo yang [email protected]
Wangqi peng [email protected]
- del laboratorio NBJL y el grupo de hormigas