FCL taco2

FCL-TACO2: Menuju kertas sintesis teks-ke-speech (ICASSP 2021) yang cepat, dapat dikendalikan, dan ringan | Demo

Diagram blok FCL-TACO2, di mana dekoder menghasilkan Mel-spectrograms dalam mode AR dalam setiap fonem dan dibagikan untuk semua fonem.

Lingkungan

• Python 3.6.10
• obor 1.3.1
• Chainer 6.0.0
• ESPNET 8.0.0
• puncak 0.1
• Numpy 1.19.1
• Kaldiio 2.15.1
• Librosa 0.8.0

Pelatihan dan Inferensi:

• Langkah1. Persiapan & preprocessing data

1. Unduh ljspeech

2. Unpack diunduh ljspeech-1.1.tar.bz2 ke /xx/ljspeech-1.1

3. Dapatkan informasi penyelarasan paksa dengan menggunakan alat Aligner Montreal Forced. Atau Anda dapat mengunduh hasil penyelarasan kami, kemudian buka /xx /textgrid

4. Preprocess Dataset untuk mengekstraksi Mel-spectrograms, durasi fonem, pitch, energi dan urutan fonem dengan:

    python preprocessing.py --data-root /xx/LJSpeech-1.1 --textgrid-root /xx/TextGrid
   

• Langkah2. Pelatihan model

1. Pelatihan Model Guru FCL-TACO2-T:

    ./teacher_model_training.sh
   

2. Pelatihan Model Siswa FCL-TACO2-S:

    ./student_model_training.sh
   

3. Pelatihan Vokoder Parallel-Wavegan: Ikuti instruksi di sini. Anda juga dapat mengunduh Vocoder PWG yang sudah terlatih, dan meletakkan model PWG di bawah direktori "Vocoder".

• Langkah3. Evaluasi model

1. Evaluasi FCL-TACO2-T:

    ./inference_teacher.sh
   

2. Evaluasi FCL-TACO2-S:

    ./inference_student.sh
   

Kutipan

Jika kode digunakan dalam penelitian Anda, silakan bintangi repo kami dan kutip makalah kami:

 @inproceedings{wang2021fcl,
  title={Fcl-Taco2: Towards Fast, Controllable and Lightweight Text-to-Speech Synthesis},
  author={Wang, Disong and Deng, Liqun and Zhang, Yang and Zheng, Nianzu and Yeung, Yu Ting and Chen, Xiao and Liu, Xunying and Meng, Helen},
  booktitle={ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={5714--5718},
  year={2021},
  organization={IEEE}
}