Expressive FastSpeech2

富有表現力 - fastspeech2 -Pytorch實現

貢獻

1. Non-autoregressive Expressive TTS ：該項目旨在為未來的研究和應用提供基石，以對包括Emotional TTS和Conversational TTS在內的非自動回憶性表達性TT進行應用。對於數據集，AIHUB多模式視頻AI數據集和IEmocap數據庫分別用於韓語和英語。

   注意：如果您對GST-TACOTRON或VAE-TACOTRON感興趣，例如表達風格的TTS模型，但在非自動回程解碼下，您也可能對Styler [Demo，Code]感興趣。

2. Annotated Data Processing ：該項目闡明瞭如何處理新數據集，即使使用不同的語言，以成功地培訓非自動性情感TTS。

3. English and Korean TTS ：除英語外，該項目還提供了對非自動回憶性TTS處理韓語的廣泛看法，在該韓文中，必須在特定於語言的功能下考慮其他數據處理（例如，培訓蒙特利爾強迫對準者與您自己的語言和數據集）。請仔細研究text/ 。

4. Adopting Own Language ：對於那些有興趣調整其他語言的人，請參閱分類分支的“使用您自己的數據集（自己的語言）培訓”部分。

存儲庫結構

在這個項目中，FastSpeech2被改編為基本非自動回調的多演講者TTS框架，因此先閱讀紙張和代碼會很有幫助（另請參見FastSpeSpeech2分支）。

1. Emotional TTS ：以下分支包含由情緒端到端神經語音合成器實現的基本範式的實現。

   

   • 分類分支：僅適應分類情感描述符（例如快樂，悲傷等）
   • 連續分支：調節連續的情感描述符（例如喚醒，價等）。

2. Conversational TTS ：以下分支包含語音代理的對話端到端TT的實現

   

   • 會話分支：調節聊天歷史記錄

引用

如果您想使用或參考此實現，請引用回購。

@misc{lee2021expressive_fastspeech2,
  author = {Lee, Keon},
  title = {Expressive-FastSpeech2},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = { u rl{https://github.com/keonlee9420/Expressive-FastSpeech2}}
}

參考

• Ming024的FastSpeech2（晚於2021.02.26 VER。
• Hgu-dllab的韓國 - 福斯特式2-pytorch
• HCCHO2的TACOTRON2-WAVENET-KOREAN-TTS
• carpedm20'多演講者 - tacotron-tensorflow