VDTuner

---

Vdtuner тестируется на сервере, настроенном с CentOS 7.9.2009 (Linux 5.5.0) и Python 3.11. Оценка система управления векторной базой данных и Benchamark-это Mivlus (версия 2.3.1) и Vector-DB-Benchmark.

Смотрите препринт по адресу http://arxiv.org/abs/2404.10413

Зависимости

1. Убедитесь, что Milvus (версия 2.3.1 с Docker-Compose) развернута на вашем сервере.
2. Установите эталонный Vector-DB-Benchmark из GitHub Source.
3. Установите Python 3.11 и необходимый пакет Botorch.

Подготовка

Измените Defualt Engine в тесте.

• Согласно документу конфигурации Milvus, измените (или добавьте) файл docker-compose.yml (файл запуска Milvus), milvus.yaml (файл конфигурации Milvus для использования) и milvus.yaml.backup (файл конфигурации Milvus vector-db-benchmark-master/engine/servers/milvus-single-node .
• Скопируйте модифицированный run_engine.sh vector-db-benchmark-master/run_engine.sh .
• После этого вы можете проверить, успешно ли Milvus успешно развернулся на вашем сервере, протестировав относительно небольшой набор данных. Перейдите в vector-db-benchmark-master и запустите: sudo ./run_engine.sh "" "" random-100 .

Скачать набор данных.

• Возьмите перчатку в качестве примера, загрузите его на vector-db-benchmark-master/datasets/glove-100-angular/glove-100-angular.hdf5 .

Укажите запросы поиска сходства.

• Измените файл vector-db-benchmark-master/experiments/configurations/milvus-single-node.json в конфигурацию индекса Defualt следующим образом. Параметр parallel может быть изменена в соответствии со спецификациями вашего сервера.

  [
    {
      "name" : " milvus-p10 " ,
      "engine" : " milvus " ,
      "connection_params" : {},
      "collection_params" : {},
      "search_params" : [
        {
          "parallel" : 10 ,
          "params" : {}
        }
      ],
      "upload_params" : {
        "parallel" : 10 ,
        "index_type" : " AUTOINDEX " ,
        "index_params" : {}
      }
    }
  ]

• Укажите свой набор данных и ограничение тайм -аута. В файле auto-configure/vdtuner/utils.py (строка 117) предположим, что мы тестируем перчатку набора данных, максимум 15 минут для каждой воспроизведения рабочей нагрузки:

   result = sp . run ( f'sudo timeout 900 { RUN_ENGINE_PATH } "" "" glove-100-angular' , shell = True , stdout = sp . PIPE )

Укажите путь к файлу конфигурации.

• Чтобы запустить Vdtuner, вам необходимо указать файл конфигурации параметров настройки и эталонный путь. Вот пример.
  В файле auto-configure/configure.py , строка 4-9:

   with open ( '/home/ytn/milvusTuning/auto-configure/index_param.json' , 'r' ) as f :
       INDEX_PARAM_DICT = json . load ( f )
   
   CONF_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/experiments/configurations/milvus-single-node.json'
   ORIGIN_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml.backup'
   ADJUST_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml'

  В файле auto-configure/vdtuner/utils.py , строка 13-14:

   KNOB_PATH = r'/home/ytn/milvusTuning/auto-configure/whole_param.json'
   RUN_ENGINE_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/run_engine.sh' 

Запустить vdtuner

Начать автоматическую настройку

• Поздравляю! Вы можете запустить Vdtuner, чтобы оптимизировать вашу векторную базу данных прямо сейчас! Перейдите в auto-configure/vdtuner/ и запустите:

   python3.11 main_tuner.py

  Обратите внимание, что это займет очень много времени (около 30000 с 200 итерациями с перчаткой набора данных), потому что итеративно Vdtuner выполняет рекомендацию повторения рабочей нагрузки и конфигурации. Вы можете изменить количество итераций по желанию в main_tuner.py .
• Результаты выбранных конфигураций и внутренней информации оптимизатора будут зарегистрированы для record.log и pobo_record.log в режиме реального времени. Вот пример вывода в record.log :

   [1] 125 {index_type: FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 230.5802223315391 0.9999830000000002 125
   [2] 214 {index_type: IVF_FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 1086.9213657571365 0.8496440000000001 88
   [3] 302 {index_type: IVF_SQ8, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 908.6127610863159 0.8461550000000001 88
  ...
  

Цитирование

Если вы используете Vdtuner в своей научной статье, пожалуйста, цитируйте нашу ICDE 2024 Paper:

 @inproceedings{yang2024vdtuner,
     title={VDTuner: Automated Performance Tuning for Vector Data Management Systems},
     author={Yang, Tiannuo and Hu, Wen and Peng, Wangqi and Li, Yusen and Li, Jianguo and Wang, Gang and Liu, Xiaoguang},
     booktitle={2024 IEEE 40th International Conference on Data Engineering (ICDE)},
     year={2024}
}

Участники

Tiannuo yang [email protected]
Wangqi peng [email protected]
- Из лаборатории NBJL и Ant Group