FCL taco2

FCL-TACO2: نحو تخليق النص السريع والخفيف الوزن والخفيف الوزن (ICASSP 2021) | العرض التوضيحي

مخطط كتلة FCL-TACO2 ، حيث يقوم وحدة فك الترميز بإنشاء طيف الميل في وضع AR داخل كل صوت ويتم مشاركته لجميع الصوتيات.

بيئة

• بيثون 3.6.10
• الشعلة 1.3.1
• Chainer 6.0.0
• ESPNET 8.0.0
• قمة 0.1
• Numpy 1.19.1
• Kaldiio 2.15.1
• Librosa 0.8.0

التدريب والاستدلال:

• Step1. إعداد البيانات والمعالجة المسبقة

1. تحميل ljspeech

2. إلغاء تنزيل ljspeech -1.1.tar.bz2 to /xx/ljspeech-1.1

3. الحصول على معلومات المحاذاة القسرية باستخدام أداة maligner القسرية Montreal. أو يمكنك تنزيل نتائج المحاذاة الخاصة بنا ، ثم قم بفكها على /xx /textgrid

4. المعالجة المسبقة لمجموعة البيانات لاستخراج طيف الميل ، ومدة الصوت ، والملعب ، والطاقة والتسلسل الصوتي بواسطة:

    python preprocessing.py --data-root /xx/LJSpeech-1.1 --textgrid-root /xx/TextGrid
   

• Step2. تدريب النموذج

1. نموذج تدريب نموذج FCL-TACO2-T:

    ./teacher_model_training.sh
   

2. نموذج تدريب طالب FCL-TACO2-S:

    ./student_model_training.sh
   

3. تدريب المفرطات الموازي Wavegan: اتبع التعليمات هنا. يمكنك أيضًا تنزيل VOCODER PWG المدربين مسبقًا ، ووضع نموذج PWG ضمن الدليل "Vocoder".

• Step3. تقييم النموذج

1. تقييم FCL-TACO2-T:

    ./inference_teacher.sh
   

2. تقييم FCL-TACO2-S:

    ./inference_student.sh
   

اقتباس

إذا تم استخدام الرمز في بحثك ، فيرجى قيامه بدور ريبونا واستشهاد ورقتنا:

 @inproceedings{wang2021fcl,
  title={Fcl-Taco2: Towards Fast, Controllable and Lightweight Text-to-Speech Synthesis},
  author={Wang, Disong and Deng, Liqun and Zhang, Yang and Zheng, Nianzu and Yeung, Yu Ting and Chen, Xiao and Liu, Xunying and Meng, Helen},
  booktitle={ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={5714--5718},
  year={2021},
  organization={IEEE}
}