FCL taco2

FCL-TACO2: Vers le papier à synthèse de texte à dispection rapide, contrôlable et léger (ICASSP 2021) | Démo

Diagramme de blocs de FCL-TACO2, où le décodeur génère des spectrogrammes de MEL en mode AR dans chaque phonème et est partagé pour tous les phonèmes.

Environnement

• Python 3.6.10
• torche 1.3.1
• Chainer 6.0.0
• ESPNET 8.0.0
• Apex 0.1
• Numpy 1.19.1
• Kaldiio 2.15.1
• Librosa 0.8.0

Formation et inférence:

• Étape 1. Préparation des données et prétraitement

1. Télécharger LJSpeech

2. Déballer LJSpeech-1.1.tar.bz2 vers /xx/ljSpeech-1.1

3. Obtenez les informations d'alignement forcées à l'aide de l'outil d'aligneur forcé Montréal. Ou vous pouvez télécharger nos résultats d'alignement, puis le déballer sur / xx / textgrid

4. Prétraitez l'ensemble de données pour extraire les spectrogrammes de MEL, la durée des phonèmes, la hauteur, l'énergie et la séquence de phonèmes par:

    python preprocessing.py --data-root /xx/LJSpeech-1.1 --textgrid-root /xx/TextGrid
   

• Étape2. Formation modèle

1. Modèle de professeur de formation FCL-TACO2-T:

    ./teacher_model_training.sh
   

2. Formation du modèle étudiant FCL-TACO2-S:

    ./student_model_training.sh
   

3. Formation de vocodeur parallèle-Wavegan: Suivez les instructions ici. Vous pouvez également télécharger le Vocoder PWG pré-formé et mettre le modèle PWG sous le répertoire "Vocoder".

• Étape 3. Évaluation du modèle

1. Évaluation FCL-TACO2-T:

    ./inference_teacher.sh
   

2. Évaluation FCL-TACO2-S:

    ./inference_student.sh
   

Citation

Si le code est utilisé dans vos recherches, veuillez jouer notre dépôt et citer notre article:

 @inproceedings{wang2021fcl,
  title={Fcl-Taco2: Towards Fast, Controllable and Lightweight Text-to-Speech Synthesis},
  author={Wang, Disong and Deng, Liqun and Zhang, Yang and Zheng, Nianzu and Yeung, Yu Ting and Chen, Xiao and Liu, Xunying and Meng, Helen},
  booktitle={ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={5714--5718},
  year={2021},
  organization={IEEE}
}