Expressive FastSpeech2

Expressive -FastSpeech2 - Implementación de Pytorch

Contribuciones

1. Non-autoregressive Expressive TTS : este proyecto tiene como objetivo proporcionar una piedra angular para futuras investigaciones y aplicaciones sobre un TTS expresivo no autorgresivo que incluye Emotional TTS y Conversational TTS . Para conjuntos de datos, los conjuntos de datos de AI multimodal AIHUB y la base de datos IEMOCAP se eligen para coreano e inglés, respectivamente.

   Nota : Si está interesado en GST-Tacotron o Vae-Tacotron como el modelo TTS estilístico expresivo, pero bajo una decodificación no autorgresiva, también puede estar interesado en Styler [demo, código].

2. Annotated Data Processing : este proyecto arroja luz sobre cómo manejar el nuevo conjunto de datos, incluso con un lenguaje diferente, para la capacitación exitosa de los TT emocionales no autorgresivos.

3. English and Korean TTS : además del inglés, este proyecto ofrece una visión amplia del tratamiento coreano para los TT no autorregeses, donde el procesamiento de datos adicional debe considerarse bajo las características específicas del idioma (por ejemplo, capacitar al alineador forzado de Montreal con su propio idioma y conjunto de datos). Por favor, busque de cerca text/ .

4. Adopting Own Language : para aquellos que estén interesados ​​en adaptar otros idiomas, consulte la sección "Capacitación con su propio conjunto de datos (lenguaje propio)" de la rama categórica.

Estructura de repositorio

En este proyecto, FastSpeech2 se adapta como un marco TTS de múltiples altavoces no autorregresivo, por lo que sería útil leer primero el documento y el código (ver también la rama FastSpeech2).

1. Emotional TTS : las siguientes ramas contienen implementaciones del paradigma básico intordido por el sintetizador emocional de habla neural de extremo a extremo.

   

   • Rama categórica: solo condicionamiento descriptores emocionales categóricos (como feliz, triste, etc.)
   • Rama continua: acondicionamiento descriptores emocionales continuos (como excitación, valencia, etc.) además de descriptores emocionales categóricos

2. Conversational TTS : la siguiente rama contiene la implementación de TTS de extremo a extremo conversacional para agente de voz

   

   • Rama conversacional: Historia del chat de acondicionamiento

Citación

Si desea usar o consultar esta implementación, cite el repositorio.

@misc{lee2021expressive_fastspeech2,
  author = {Lee, Keon},
  title = {Expressive-FastSpeech2},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = { u rl{https://github.com/keonlee9420/Expressive-FastSpeech2}}
}

Referencias

• FastSpeech2 de Ming024 (más tarde de 2021.02.26 Ver.)
• HGU-Dllab's Korean-FastSpeech2-Pytorch
• Tacotron2-wavenet-corean-tts de HCCHO2
• CarpedM20 'Multi-platero-tacotrón-tensor-tensorflow