Expressive FastSpeech2

Expresive -FastSpeech2 - внедрение Pytorch

Вклад

1. Non-autoregressive Expressive TTS : этот проект направлен на то, чтобы обеспечить краеугольный камень для будущих исследований и применения неавторегрессивных выразительных TT, включая Emotional TTS и Conversational TTS . Для наборов данных, наборы данных MultiModal Video AIHUB и база данных IEMOCAP выбираются для корейского и английского языка соответственно.

   Примечание . Если вы заинтересованы в GST-Tacotron или Vae-Tacotron, подобной выразительной стилистической модели TTS, но в неавторегрессивном декодировании вас также может быть заинтересован в Styler [Demo, Code].

2. Annotated Data Processing : этот проект проливает свет на то, как обрабатывать новый набор данных, даже с другим языком, для успешной подготовки неавторегрессивных эмоциональных TTS.

3. English and Korean TTS : в дополнение к английскому, этот проект дает широкое представление о том, чтобы относиться к корейскому языку для неавторегрессивных TTS, где дополнительная обработка данных должна рассматриваться в соответствии с особенностями языка (например, обучение Montreal вынуждено выравнивать с вашим собственным языком и набором данных). Пожалуйста, внимательно изучите text/ .

4. Adopting Own Language : для тех, кто заинтересован в адаптации других языков, пожалуйста, обратитесь к разделу «Обучение с вашим собственным набором данных (собственный язык)» категориальной филиала.

Структура репозитория

В этом проекте Fastspeech2 адаптирован как базовая неавторегрессивная структура Multi-Speaker TTS, поэтому было бы полезно сначала прочитать бумагу и код (также см. Fastspeech2 Branch).

1. Emotional TTS : Следующие ветви содержат реализации основной парадигмы, предпринимаемой эмоциональной сквозной нейронной речью.

   

   • Категориальная ветвь: только кондиционирование категориальных эмоциональных дескрипторов (например, Happy, SAD и т. Д.)
   • Непрерывная ветвь: кондиционирование непрерывных эмоциональных дескрипторов (таких как возбуждение, валентность и т. Д.) В дополнение к категориальным эмоциональным дескрипторам

2. Conversational TTS : Следующая ветвь содержит реализацию разговорных сквозных TTS для голосового агента

   

   • Разговорная филиал: кондиционирование истории чата

Цитирование

Если вы хотите использовать или обратиться к этой реализации, пожалуйста, укажите репо.

@misc{lee2021expressive_fastspeech2,
  author = {Lee, Keon},
  title = {Expressive-FastSpeech2},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = { u rl{https://github.com/keonlee9420/Expressive-FastSpeech2}}
}

Ссылки

• Ming024's Fastspeech2 (позже 2021.02.26 ver.)
• Корейский фрайт-пидж-пик Хгу-Дллаб
• HCCHO2 Tacotron2-Wavenet-Korean-TTS
• CarpedM20 'многопрофильный-такотрон-Tensorflow