FlashSpeech

Flashspeech

تنفيذ flashspeech. للحصول على جميع التفاصيل ، تحقق من ورقةنا المقبولة إلى ACM MM 2024: Flashspeech: تخليق الكلام الصفر الفعال.

يلاحظ

• هذا المشروع عبارة عن نسخة معدلة تعتمد على NaturalSpech2 من Amphion نظرًا لاستخدام بعض أدوات Microsoft الداخلية في الكود الأصلي.
• إعداد البيئة :

  bash env.sh

• لقد استبدلت accelerate Amphion مع lightning لأنني واجهت مشكلات مماثلة (قضية ذات صلة). التدريب مع lightning أسرع.

إعداد البيانات

• تعديل ns2dataset.py بناءً على بياناتك.
• تم اختبار هذا الإصدار على مجموعة بيانات Libritts . تأكد من إعداد البيانات التالية مقدمًا:
  • يقذف
  • شفرة
  • صوت
  • مدة

تمرين

1. قم بتشغيل البرنامج النصي التدريبي :

   bash egs/tts/NaturalSpeech2/run_train.sh

ملاحظات مهمة :

• اختر التكوين :

  • يمكنك تحديد ملفات التكوين ***_s1 أو ***_s2 بناءً على مرحلة التدريب.

• تعديل برنامج ترميز النموذج :

  • في models/tts/naturalspeech2/flashspeech.py ، قم بتحديث برنامج الترميز الخاص بك.
  • اضبط self.latent_norm لتطبيع برنامج الترميز الكامن إلى الانحراف المعياري. (هذه الخطوة أمر بالغ الأهمية لتدريب نموذج الاتساق.)

• إعداد المرحلة 2 :

  • في models/tts/naturalspeech2/flashspeech_trainer_stage2.py ، قم بتعيين الأوزان الأولية التي تم الحصول عليها من تدريب المرحلة الأولى.

• تطور المرحلة 3 :

  • لم يتم إصدار رمز المرحلة 3 بعد. ومع ذلك ، يمكنك الرجوع إلى التدريب على الاتساق في المرحلة 1 لتنفيذها.

تودو

مزيد من تنظيم هيكل المشروع واستكمل الكود المتبقي.

شكر وتقدير

شكر خاص للبرمفيون ، حيث يتم استعارة قاعدة كودنا في المقام الأول من Amphion.

شكرا لك على استخدام FlashSpeech!