FCL taco2

FCL-TACO2: ไปสู่การสังเคราะห์ที่รวดเร็วควบคุมได้และมีน้ำหนักเบาการสังเคราะห์ (ICASSP 2021) กระดาษ | การสาธิต

บล็อกไดอะแกรมของ FCL-TACO2 ซึ่งตัวถอดรหัสสร้าง mel-spectrograms ในโหมด AR ภายในแต่ละฟอนิมและใช้ร่วมกันสำหรับหน่วยเสียงทั้งหมด

สิ่งแวดล้อม

• Python 3.6.10
• คบเพลิง 1.3.1
• เชน 6.0.0
• ESPNET 8.0.0
• APEX 0.1
• numpy 1.19.1
• Kaldiio 2.15.1
• Librosa 0.8.0

การฝึกอบรมและการอนุมาน:

• ขั้นตอนที่ 1. การเตรียมข้อมูลและการประมวลผลล่วงหน้า

1. ดาวน์โหลด ljSpeech

2. แกะดาวน์โหลด ljspeech-1.1.tar.bz2 ถึง /xx/ljspeech-1.1

3. รับข้อมูลการจัดตำแหน่งที่ถูกบังคับโดยใช้เครื่องมือจัดตำแหน่งแบบบังคับมอนทรีออล หรือคุณสามารถดาวน์โหลดผลลัพธ์การจัดตำแหน่งของเราจากนั้นคลายออกไปที่ /xx /textGrid

4. ประมวลผลชุดข้อมูลเพื่อสกัด mel-spectrograms ระยะเวลาการออกเสียงระยะพิทช์พลังงานและฟอนิมโดย:

    python preprocessing.py --data-root /xx/LJSpeech-1.1 --textgrid-root /xx/TextGrid
   

• ขั้นตอนที่ 2. การฝึกอบรมแบบจำลอง

1. ครูฝึกอบรมโมเดล FCL-TACO2-T:

    ./teacher_model_training.sh
   

2. การฝึกอบรมนักศึกษาโมเดล FCL-TACO2-S:

    ./student_model_training.sh
   

3. การฝึกอบรม Vovoder คู่ขนาน: ทำตามคำแนะนำที่นี่ นอกจากนี้คุณยังสามารถดาวน์โหลด PWG Vocoder ที่ผ่านการฝึกอบรมมาแล้วและวางโมเดล PWG ภายใต้ไดเรกทอรี "Vocoder"

• ขั้นตอนที่ 3. การประเมินแบบจำลอง

1. การประเมิน FCL-TACO2-T:

    ./inference_teacher.sh
   

2. การประเมิน FCL-TACO2-S:

    ./inference_student.sh
   

การอ้างอิง

หากใช้รหัสในการวิจัยของคุณโปรดแสดง repo ของเราและอ้างอิงกระดาษของเรา:

 @inproceedings{wang2021fcl,
  title={Fcl-Taco2: Towards Fast, Controllable and Lightweight Text-to-Speech Synthesis},
  author={Wang, Disong and Deng, Liqun and Zhang, Yang and Zheng, Nianzu and Yeung, Yu Ting and Chen, Xiao and Liu, Xunying and Meng, Helen},
  booktitle={ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={5714--5718},
  year={2021},
  organization={IEEE}
}