FCL taco2

FCL-TACO2: In Richtung schneller, kontrollierbarer und leichter Text-zu-Sprach-Synthese (ICASP 2021) Papier | Demo

Blockdiagramm von FCL-TACO2, bei dem der Decoder im AR-Modus in jedem Phonem Melspektrogramme erzeugt und für alle Phoneme geteilt wird.

Umfeld

• Python 3.6.10
• Taschenlampe 1.3.1
• Chainer 6.0.0
• ESPNET 8.0.0
• Apex 0.1
• Numpy 1.19.1
• Kaldiio 2.15.1
• Librosa 0,8.0

Training und Inferenz:

• STEP1. Datenvorbereitung und Vorverarbeitung

1. Laden Sie ljspeech herunter

2. Packen Sie ljspeech-1.1.tar.bz2 an /xx/ljspeech-1.1 aus

3. Erhalten Sie die erzwungenen Ausrichtungsinformationen mithilfe von Montreal erzwungenen Aligner -Tool. Oder Sie können unsere Ausrichtungsergebnisse herunterladen und dann an /xx /textGrid auspacken

4. Vorverarbeitet den Datensatz, um Melspektrogramme, Phonemdauer, Tonhöhe, Energie und Phonemsequenz zu extrahieren, um:

    python preprocessing.py --data-root /xx/LJSpeech-1.1 --textgrid-root /xx/TextGrid
   

• STEP2. Modelltraining

1. Schulungslehrermodell FCL-TACO2-T:

    ./teacher_model_training.sh
   

2. Schulungsmodell FCL-TACO2-S::

    ./student_model_training.sh
   

3. PARALLEL-WAVEGAN VOCODER-Training: Befolgen Sie die Anweisungen hier. Sie können auch den vorgebildeten PWG-Vokoder herunterladen und das PWG-Modell in das Verzeichnis "Vocoder" einstellen.

• Schritt 3. Modellbewertung

1. FCL-TACO2-T-Bewertung:

    ./inference_teacher.sh
   

2. FCL-TACO2-S-Bewertung:

    ./inference_student.sh
   

Zitat

Wenn der Code in Ihrer Recherche verwendet wird, spielen Sie bitte unser Repo und zitieren Sie unser Papier:

 @inproceedings{wang2021fcl,
  title={Fcl-Taco2: Towards Fast, Controllable and Lightweight Text-to-Speech Synthesis},
  author={Wang, Disong and Deng, Liqun and Zhang, Yang and Zheng, Nianzu and Yeung, Yu Ting and Chen, Xiao and Liu, Xunying and Meng, Helen},
  booktitle={ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={5714--5718},
  year={2021},
  organization={IEEE}
}