VDTuner

---

O VDTuner é testado em um servidor configurado com o CentOS 7.9.2009 (Linux 5.5.0) e Python 3.11. O sistema de gerenciamento de banco de dados vetorial avaliado e o Benchamark é Mivlus (versão 2.3.1) e vetor-db-benchmark.

Veja a pré -impressão em http://arxiv.org/abs/2404.10413

Dependências

1. Verifique se a versão do Milvus (2.3.1 com o Docker-Compose) está implantada no seu servidor.
2. Instale o benchmark Vector-DB-benchmark da fonte do GitHub.
3. Instale o Python 3.11 e o pacote necessário.

Preparativos

Modifique o mecanismo Defualt em benchmark.

• De acordo com o documento de configuração do Milvus, modifique (ou adicione) o arquivo docker-compose.yml (arquivo de inicialização de milvus), milvus.yaml (arquivo de configuração do milvus para utilização) e milvus.yaml.backup (arquivo de configuração do milvus para copiar e modificar) em seu vector-db-benchmark-master/engine/servers/milvus-single-node
• Copie o modificado run_engine.sh para vector-db-benchmark-master/run_engine.sh .
• Depois disso, você pode testar se o Milvus implantou com sucesso em seu servidor testando um conjunto de dados relativamente pequeno. Vá para vector-db-benchmark-master e corra: sudo ./run_engine.sh "" "" random-100 .

Baixe o conjunto de dados.

• Pegue a luva como exemplo, faça o download do vector-db-benchmark-master/datasets/glove-100-angular/glove-100-angular.hdf5 .

Especifique as solicitações de pesquisa de similaridade.

• Modifique o arquivo vector-db-benchmark-master/experiments/configurations/milvus-single-node.json para uma configuração de índice de defualt, como seguinte. O parâmetro parallel pode ser modificado de acordo com as especificações do servidor.

  [
    {
      "name" : " milvus-p10 " ,
      "engine" : " milvus " ,
      "connection_params" : {},
      "collection_params" : {},
      "search_params" : [
        {
          "parallel" : 10 ,
          "params" : {}
        }
      ],
      "upload_params" : {
        "parallel" : 10 ,
        "index_type" : " AUTOINDEX " ,
        "index_params" : {}
      }
    }
  ]

• Especifique seu conjunto de dados e limite de tempo limite. No arquivo auto-configure/vdtuner/utils.py (linha 117), suponha que testemos a luva do conjunto de dados, com um máximo de 15 minutos para cada repetição de carga de trabalho:

   result = sp . run ( f'sudo timeout 900 { RUN_ENGINE_PATH } "" "" glove-100-angular' , shell = True , stdout = sp . PIPE )

Especifique o caminho do arquivo de configuração.

• Para executar o VDTuner, você precisa especificar o arquivo de configuração dos parâmetros de ajuste e caminho de referência. Aqui está um exemplo.
  Em Arquivo auto-configure/configure.py , linha 4-9:

   with open ( '/home/ytn/milvusTuning/auto-configure/index_param.json' , 'r' ) as f :
       INDEX_PARAM_DICT = json . load ( f )
   
   CONF_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/experiments/configurations/milvus-single-node.json'
   ORIGIN_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml.backup'
   ADJUST_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/engine/servers/milvus-single-node/milvus.yaml'

  Em Arquivo auto-configure/vdtuner/utils.py , linha 13-14:

   KNOB_PATH = r'/home/ytn/milvusTuning/auto-configure/whole_param.json'
   RUN_ENGINE_PATH = r'/home/ytn/milvusTuning/vector-db-benchmark-master/run_engine.sh' 

Execute vdTuner

Inicie o ajuste automático

• Parabéns! Você pode executar o VDTuner para otimizar seu banco de dados vetorial agora! Vá para auto-configure/vdtuner/ e Run:

   python3.11 main_tuner.py

  Observe que isso levaria muito tempo (cerca de 30000s para 200 iterações com luva de dados), porque o VDTuner executa iterativamente, reproduza a recomendação de reprodução e configuração da carga de trabalho. Você pode alterar o número de iterações conforme desejado em main_tuner.py .
• Resultados de configurações amostradas e informações internas do otimizador serão registradas no record.log e pobo_record.log em tempo real. Aqui está um exemplo de saída no record.log :

   [1] 125 {index_type: FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 230.5802223315391 0.9999830000000002 125
   [2] 214 {index_type: IVF_FLAT, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 1086.9213657571365 0.8496440000000001 88
   [3] 302 {index_type: IVF_SQ8, nlist: 128, nprobe: 10, m: 10, nbits: 8, M: 32, efConstruction: 256, ef: 500, reorder_k: 500} {dataCoord*segment*maxSize: 512, dataCoord*segment*sealProportion: 0.23, queryCoord*autoHandoff: True, queryCoord*autoBalance: True, common*gracefulTime: 5000, dataNode*segment*insertBufSize: 16777216, rootCoord*minSegmentSizeToEnableIndex: 1024} 908.6127610863159 0.8461550000000001 88
  ...
  

Citação

Se você usa o VDTuner em seu artigo científico, cite nosso artigo ICDE 2024:

 @inproceedings{yang2024vdtuner,
     title={VDTuner: Automated Performance Tuning for Vector Data Management Systems},
     author={Yang, Tiannuo and Hu, Wen and Peng, Wangqi and Li, Yusen and Li, Jianguo and Wang, Gang and Liu, Xiaoguang},
     booktitle={2024 IEEE 40th International Conference on Data Engineering (ICDE)},
     year={2024}
}

Colaboradores

Tiannuo yang [email protected]
Wangqi Peng [email protected]
- do LAB NBJL e do Ant Group