FCL taco2

FCL-TACO2: к быстрому, управляемому и легкому синтезу текста в речь (ICASSP 2021) Бумага | Демо

Блок-схема FCL-TACO2, где декодер генерирует мель-спектрограммы в режиме AR в каждой фонеме и используется для всех фонем.

Среда

• Python 3.6.10
• Факел 1.3.1
• цепь 6.0.0
• ESPNet 8.0.0
• вершина 0,1
• Numpy 1.19.1
• Kaldiio 2.15.1
• Librosa 0,8,0

Обучение и вывод:

• Шаг 1. Подготовка данных и предварительная обработка

1. Скачать ljspeech

2. Раскрыть скачание ljspeech-1.1.tar.bz2 to /xx/ljspeech-1.1

3. Получите информацию о вынуждении выравнивания, используя Montreal Arrence Aligner Tool. Или вы можете скачать наши результаты выравнивания, затем распаковать до /xx /textgrid

4. Предварительно обработать набор данных для извлечения мель-спектрограмм, продолжительность фонемы, шага, энергия и последовательность фонем по:

    python preprocessing.py --data-root /xx/LJSpeech-1.1 --textgrid-root /xx/TextGrid
   

• Шаг 2. Обучение модели

1. Учительский учитель модель FCL-Taco2-T:

    ./teacher_model_training.sh
   

2. Обучение студенческой модели FCL-TACO2-S:

    ./student_model_training.sh
   

3. Параллельно волновая подготовка вокадера: следуйте инструкциям здесь. Вы также можете загрузить предварительно обученный вокадер PWG и поместить модель PWG в каталог «Vocoder».

• Шаг 3. Оценка модели

1. Оценка FCL-Taco2-T:

    ./inference_teacher.sh
   

2. FCL-TACO2-S Оценка:

    ./inference_student.sh
   

Цитирование

Если код используется в вашем исследовании, пожалуйста, смотрите наш репо и цитируйте нашу статью:

 @inproceedings{wang2021fcl,
  title={Fcl-Taco2: Towards Fast, Controllable and Lightweight Text-to-Speech Synthesis},
  author={Wang, Disong and Deng, Liqun and Zhang, Yang and Zheng, Nianzu and Yeung, Yu Ting and Chen, Xiao and Liu, Xunying and Meng, Helen},
  booktitle={ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={5714--5718},
  year={2021},
  organization={IEEE}
}