tf_multispeakerTTS_fc

Síntesis del habla multiespeaker con restricción de retroalimentación del hablante VerificAiton

Esta es una implementación de TensorFlow de la red TTS multiespeaker introducida en papel desde la verificación de los altavoces hasta la síntesis del habla multiespeaker, transferencia profunda con restricción de retroalimentación. Este repositorio también contiene un modelo de verificación de altavoz profundo que se utiliza en el modelo TTS de múltiples altavoces como la red de retroalimentación. Las muestras sintetizadas se proporcionan en línea.

Citación

 @inproceedings{Cai2020,
  author={Zexin Cai and Chuxiong Zhang and Ming Li},
  title={{From Speaker Verification to Multispeaker Speech Synthesis, Deep Transfer with Feedback Constraint}},
  year=2020,
  booktitle={Proc. Interspeech 2020}
}

Arquitectura modelo

Donde la red de incrustación del altavoz es una red basada en resnet:

---

Capacitación

Modelo de verificación de altavoces

El modelo de verificación del altavoz se encuentra en el directorio profundo_speaker. De forma predeterminada, el modelo de verificación del altavoz está entrenado con datos VoxCeleb 1 y VoxCeleb 2. Puede encontrar la lista de archivos en el directorio. Los hiperparámetros se establecen en VOX12_HPARAMS.PY.

Para capacitar al modelo VerificAiton del altavoz desde cero, prepare los datos como se enumeran en la lista de archivos y ejecuten:

CUDA_VISIBLE_DEVICES=0 python train.py

TTS Synthesizer (sin control de retroalimentación)

De forma predeterminada, el sintetizador está capacitado utilizando DataSet VCTK.

• Extraer función de audio usando process_audio.ipynb

• Extraer incrustaciones de altavoces utilizando iPython Notebook profundo_speaker/get_gvector.ipynb

• Capacitar un sistema de basura multiespeaker TTS

  CUDA_VISIBLE_DEVICES=0 python synthesizer_train.py vctk datasets/vctk/synthesizer

• Siéntase libre de evaluar y sintetizar muestras usando syn.ipynb durante el entrenamiento

Vocoder neural (Wavernn)

De forma predeterminada, el Vocoder también está capacitado utilizando DataSet VCTK. Sería fácil después de que se extraiga la característica acústica de la sección anterior ( sintetizador TTS ). Para un mejor rendimiento, utilice el espectrograma GTA MEL obtenido por VOCODER_PREPROCESS.PY después de que termine el entrenamiento del sintetizador.

CUDA_VISIBLE_DEVICES=0 python vocoder_train.py -g --syn_dir datasets/vctk/synthesizer vctk datasets/vctk

TTS Synthesizer con restricción de retroalimentación

• Establezca la ruta en el modelo de dos petróleo (el modelo de verificación del altavoz y el sintetizador multiespeaker) cambiando las teclas correspondientes en hparams.py.

• Capacite al modelo y evalúe en cualquier momento con Townleg_syn.ipynb

  CUDA_VISIBLE_DEVICES=0 python fc_synthesizer_train.py

Modelos provocados

• Red de incrustación de altavoces
• Synthesizador de línea de base 1 (utilizado como el modelo previo al estado de entrenamiento para el entrenamiento de retroalimentación)
• Sintetizador de línea de base 2
• TTS Synthesizer con restricción de retroalimentación
• Vocoder de Wavernn

---

Referencias y recursos

• Rayhane-Mamah/ Tacotron-2
• Corentinj/ clonación de voces en tiempo real
• Cargador de datos sobre la marcha y agregación a nivel de expresión para el reconocimiento de altavoces y idiomas
• Síntesis de TTS natural mediante acondicionamiento de wavenet en predicciones de espectrograma MEL
• Síntesis de audio neuronal eficiente