FCL taco2

FCL-TACO2：迈向快速，可控制和轻巧的文本到语音合成（ICASSP 2021）纸|演示

FCL-TACO2的框图，其中解码器在每个音素中以AR模式生成MEL-SPECTROGRAM，并为所有音素共享。

环境

• Python 3.6.10
• 火炬1.3.1
• Chainer 6.0.0
• ESPNET 8.0.0
• 顶点0.1
• Numpy 1.19.1
• Kaldiio 2.15.1
• 天秤座0.8.0

培训和推理：

• 步骤1。数据准备和预处理

1. 下载ljspeech

2. 解开下载的LJSpeech-1.1.tar.bz2 to /xx/ljspeech-1.1

3. 使用蒙特利尔强制对准器工具获得强制对齐信息。或者，您可以下载我们的对齐结果，然后将其解开为 /xx /textgrid

4. 预处理数据集以提取MEL光谱图，音素持续时间，音调，能量和音素序列：

    python preprocessing.py --data-root /xx/LJSpeech-1.1 --textgrid-root /xx/TextGrid
   

• 步骤2。模型培训

1. 培训教师模型FCL-TACO2-T：

    ./teacher_model_training.sh
   

2. 培训学生模型FCL-TACO2-S：

    ./student_model_training.sh
   

3. 并行沃文辅助培训：在此处遵循指示。您还可以下载预先训练的PWG Vocoder，并将PWG模型放在目录“ Vocoder”下。

• 步骤3。模型评估

1. FCL-TACO2-T评估：

    ./inference_teacher.sh
   

2. FCL-TACO2-S评估：

    ./inference_student.sh
   

引用

如果您的研究中使用了代码，请出演我们的回购并引用我们的论文：

 @inproceedings{wang2021fcl,
  title={Fcl-Taco2: Towards Fast, Controllable and Lightweight Text-to-Speech Synthesis},
  author={Wang, Disong and Deng, Liqun and Zhang, Yang and Zheng, Nianzu and Yeung, Yu Ting and Chen, Xiao and Liu, Xunying and Meng, Helen},
  booktitle={ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={5714--5718},
  year={2021},
  organization={IEEE}
}