Expressive FastSpeech2

Ausdrucksfastspeech2 - Pytorch -Implementierung

Beiträge

1. Non-autoregressive Expressive TTS : Dieses Projekt zielt darauf ab, einen Eckpfeiler für zukünftige Forschung und Anwendung auf nicht autoregressiven ausdrucksstarken TTs einschließlich Emotional TTS und Conversational TTS zu bieten. Für Datensätze werden AIHUB Multimodal Video AI -Datensätze und IEMOCAP -Datenbank für Koreanisch bzw. Englisch ausgewählt.

   Hinweis : Wenn Sie sich für GST-Tacotron oder VAE-Tacotron wie das ausdrucksstarke Stylistik-TTS-Modell interessieren, jedoch unter nicht-autoregressiven Decodieren, können Sie auch an Styler [Demo, Code] interessiert sein.

2. Annotated Data Processing : Dieses Projekt beleuchtet, wie der neue Datensatz auch mit einer anderen Sprache für die erfolgreiche Schulung von nicht autoregressiven emotionalen TTs umgehen kann.

3. English and Korean TTS : Zusätzlich zu Englisch gibt dieses Projekt einen umfassenden Überblick über die Behandlung von Koreanisch für die nicht autoregressiven TTs, bei denen die zusätzliche Datenverarbeitung unter den sprachspezifischen Funktionen berücksichtigt werden muss (z. B. Training Montreal erzwungene Aligner mit Ihrer eigenen Sprache und Ihrem eigenen Datensatz). Bitte schauen Sie genau in text/ .

4. Adopting Own Language : Für diejenigen, die sich für die Anpassung anderer Sprachen interessieren, lesen Sie bitte den Abschnitt "Training mit Ihrem eigenen Datensatz (eigene Sprache)" des kategorialen Zweigs.

Repository -Struktur

In diesem Projekt wird Fastspeech2 als nicht autoregressive TTS-Framework mit mehreren Lautsprechern angepasst. Daher wäre es hilfreich, das Papier und den Code zuerst zu lesen (siehe auch Fastspeech2-Zweig).

1. Emotional TTS : Die folgenden Zweige enthalten Implementierungen des grundlegenden Paradigmas, das von emotionalem End-to-End-Synthesizer für neuronale Sprachhöfe abgeschaltet wird.

   

   • Kategorischer Zweig: Nur kategoriale emotionale Deskriptoren konditionieren (wie glücklich, traurig usw.)
   • Kontinuierlicher Zweig: Konditionierung kontinuierliche emotionale Deskriptoren (wie Erregung, Wertigkeit usw.) zusätzlich zu kategorialen emotionalen Deskriptoren

2. Conversational TTS : Die folgende Zweigstelle enthält die Implementierung von TT-to-End-TTs von Konversation für Voice Agent

   

   • Konversationszweig: Konditionierungs -Chat -Verlauf

Zitat

Wenn Sie diese Implementierung verwenden oder auf diese Implementierung verweisen möchten, zitieren Sie bitte das Repo.

@misc{lee2021expressive_fastspeech2,
  author = {Lee, Keon},
  title = {Expressive-FastSpeech2},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = { u rl{https://github.com/keonlee9420/Expressive-FastSpeech2}}
}

Referenzen

• Ming024's Fastspeech2 (später als 2021.02.26 Ver.)
• HGU-DLlabs Korean-Fastspeech2-Pytorch
• HCCHO2s Tacotron2-Wavenet-Korean-TTS
• CARDEDM20 'Multi-Sprecher-Tacotron-TensorFlow