MelNet

Melnet

Implementación de Melnet: un modelo generativo para audio en el dominio de frecuencia

Requisitos previos

• Probado con Python 3.6.8 y 3.7.4, Pytorch 1.2.0 y 1.3.0.
• pip install -r requirements.txt

Cómo entrenar

Conjuntos de datos

• Blizzard, VoxCeleb2 y KSS tienen archivos YAML proporcionados en config/ . Para otros conjuntos de datos, complete su propio archivo YAML de acuerdo con los otros proporcionados.
• La capacitación incondicional es posible para todo tipo de conjuntos de datos, siempre que tengan una extensión de archivo consistente especificada por data.extension dentro del archivo YAML.
• Actualmente, la capacitación condicional solo se implementa para KSS y un subconjunto del conjunto de datos de Blizzard.

Ejecutando el código

• python trainer.py -c [config YAML file path] -n [name of run] -t [tier number] -b [batch size] -s [TTS]
  • Cada nivel puede ser entrenado por separado. Dado que cada nivel es más grande que el anterior (con la excepción del Nivel 1), modifique el tamaño de lotes para cada nivel.
    • El nivel 6 del conjunto de datos de Blizzard no cabe en un P100 de 16 GB, incluso con un tamaño por lotes de 1.
  • La bandera -s es un booleano para determinar si entrenar un nivel TTS. Dado que un nivel TTS solo difiere en el Nivel 1, esta bandera se ignora cuando [tier number] != 0 . ADVERTENCIA: Esta bandera se True sin importar lo que siga la bandera. Ignóralo si no planeas usarlo.

Cómo probar

Preparación de los puntos de control

• Los puntos de control deben almacenarse en chkpt/ .
• Se debe proporcionar un archivo YAML llamado inference.yaml en config/ .
• inference.yaml debe especificar el número de niveles, los nombres de los puntos de control y si es o no una generación condicional.

Ejecutando el código

• python inference.py -c [config YAML file path] -p [inference YAML file path] -t [timestep of generated mel spectrogram] -n [name of sample] -i [input sentence for conditional generation]
  • TimeStep se refiere a la longitud del espectrograma MEL. La relación de tiempo de tiempo a segundos es aproximadamente [sample rate] : [hop length of FFT] .
  • La bandera -i es opcional, solo necesaria para la generación condicional. Rodea la oración con "" y termina con . .
  • La generación incondicional y la generación condicional actualmente no admiten la generación cebada (extrapolando a partir de datos proporcionados).

Hacer

• Implementar el procedimiento de muestreo ascendente
• Función de muestreo GMM + pérdida
• Generación de audio incondicional
• Síntesis de TTS
• Registro de tensorboard
• Entrenamiento multi-GPU
• Generación preparada

Autores de implementación

• Seungwon Park, June Young Yi, Yoonhyung Lee, Joowhan Song @ más profunda temporada 6

Licencia

Licencia de MIT