Robust_Fine_Grained_Prosody_Control

Control de prosodia robusta y de grano fino de la síntesis del habla de extremo a extremo (con Glow de onda)

Implementación de Pytorch de control de prosodia robusto y de grano fino de la síntesis del habla de extremo a extremo (no oficial)

Esta implementación utiliza el conjunto de datos Libritts.

Notas

1. Rama de Dev : Tacotron2 con multiespeaker (incrustación de altavoces). La información del altavoz solo es consumida por el módulo decodificador, y el módulo de atención no ve nada de eso (como intención de los autores).
2. Text_Side Branch: implementación del modelo de control de prosodia del lado del texto.
3. El control de la prosodia del lado del habla y la normalización de la prosodia no se implementan en la versión actual, pero simplemente puede agregarlos encima de las ramas anteriores.

Requisitos previos

1. NVIDIA GPU + CUDA CUDNN

Configuración

1. Descargue y extraiga el conjunto de datos de Libritts
2. Clon este repositorio: git clone https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control.git
3. CD en este repositorio: cd Robust_Fine_Grained_Prosody_Control
4. Inicializar submódulo: git submodule init; git submodule update
5. Actualización .wav rutas: sed -i -- 's,/home/keon/speech-datasets/LibriTTS_preprocessed/train-clean-100/,your_libritts_dataset_folder/,g' filelists/*.txt
   • Alternativamente, establezca load_mel_from_disk=True en hparams.py y actualice las rutas de espectrograma MEL
6. Instale Pytorch 1.0
7. Instalar APEX
8. Instale los requisitos de Python o la imagen de compilación de Docker
   • Instalar requisitos de Python: pip install -r requirements.txt

Capacitación

1. python train.py --output_directory=outdir --log_directory=logdir
2. (Opcional) tensorboard --logdir=outdir/logdir

Entrenamiento utilizando un modelo previamente capacitado

(TBD)

Entrenamiento multi-GPU (distribuido) y de precisión mixta automática

1. No es compatible con la implementación actual.

Inferencia

1. Muestra única: python inference.py -c checkpoint/path -r reference_audio/wav/path -t "synthesize text"
2. Muestras multi: python inference_all.py -c checkpoint/path -r reference_audios/dir/path

NB Al realizar el espectrograma MEL a la síntesis de audio, asegúrese de que el tacotrón 2 y el decodificador MEL estuvieran entrenados en la misma representación del espectrograma MEL.

Citación

 @misc{lee2021robust_fine_grained_prosody_control,
  author = {Lee, Keon},
  title = {Robust_Fine_Grained_Prosody_Control},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control}}
}

Repos relacionado

Giro de onda más rápido que la red generativa basada en el flujo en tiempo real para la síntesis del habla

NV Wavenet más rápido que el wavenet en tiempo real.

Expresiones de gratitud

Esta implementación utiliza el código de los siguientes reposadores: NVIDIA/Tacotron-2, KingLittleq/GST-Tacotron

Estamos agradecidos con los autores de papel, especialmente Younggun Lee y Taesu Kim.