End to End TTS Fine Tune

TTS من طرف إلى طرف

مقدمة

• يهدف هذا المشروع إلى تطوير نظام TTS الخاص بـ " مساعد AI لكبار السن ". يمكنك إنشاء مساعد ذكاء اصطناعي مع صوت العائلة أو الأصدقاء والعشاق مع 5 دقائق فقط من التسجيل الصوتي.
• من أجل التعامل مع مكبر صوت الذكاء الاصطناعى الذي يتطلب توليد في الوقت الفعلي ، اعتمدنا النموذج الصوتي غير التابع للانحدار السريع Fastspe2 ونموذج Vocoder المستند إلى GAN للنظر في الجودة وسرعة الإنتاج.
• تم تنفيذ عادات إضافية لتحسين أداء Multi-Speaker.
• تم تكوين هذا المستودع ببساطة لإجراء عملية التعلم والإنشاء عن طريق استخدام البرنامج النصي shell لتكوين D-Vector Multi Speaker Fastspeech2 ونماذج HIFI-GAN للسماح لها أن تكون قادرة على الغرامات.
• لتوفير TTS في الوقت الحقيقي في التطبيق ، استخدم fastapi لتكوين الخادم والربط مع الواجهة الخلفية.

غرض المشروع

1. الصوتية fastspeech2 (مخصص)

2. أداء معقول من خلال استخدام التعلم النقل للتخصيص مع كميات صغيرة من البيانات

3. قم بتوفير واجهات برمجة التطبيقات التي يمكن إنشاؤها باستخدام مجموعة البيانات الكورية في الوقت الفعلي في الوقت الفعلي

مجموعة البيانات

• وفقًا لـ Fine_tune_transcript.txt الذي ينتمي إلى مجلد مجموعة البيانات ، سجل 100 جملة مع الرقم بهاتف ذكي وتحويل ملف M4A إلى ملف WAV بمعدل أخذ عينات قدره 16000 (FFMPEG)

• كما هو موضح في الشكل ، تتم إضافة 100 ملفات WAV المحولة إلى المجلد الأولي الخاص بك.

مساهمة

1. تعديل رمز النموذج وفقًا للضبط

   • Fastspeech2 وتعديل HIFI والتكامل
   • يتم تقسيم مجموعة البيانات ، CKPT ، ونتائج دليل إلى دليل المستوى الأعلى حسب مجموعة البيانات

2. سهلة المعالجة المسبقة ، القطار ، التوليف من خلال نص شل

   • عن طريق تغيير دليل مجموعة البيانات

3. توفير صورة Docker فريدة من نوعها

   • توفير الصور التي يمكن تنفيذها على الفور دون إضافة حزم تبعية إضافية معقدة
   • استيراد أحدث صورة من خلال رابط Docker Hub

الأعمال السائدة

• يطابق اسم ملف Fastspeade2 و CKPT الذي تم تدريبه مسبقًا ويحتفظ به في كل طراز.

  (Fastspeech2: 30،000 خطوة التعلم / HIFI -GAN -Jungil King الرسمي المذريعة -الجامعة -الجامعة) الجامعة)

• للتعلم والتوليف ، نقوم بتحميل وتنفيذ صور Docker التي تحتوي على جميع الحزم التابعة.

   docker pull hws0120/e2e_speech_synthesis 
  

• RUN_FS2_PREPROCESSING.SH تتصل خطوات Docker بأمر Conda ويقوم بتثبيت Python Package Jamo.

   conda activate aligner
  pip install jamo
  

• نهاية البيئة الافتراضية لأداء Run_FS2_Train أو التوليف.

   conda activate base
  

المعالجة المسبقة

• إذا قابلت جميع العناصر المذكورة أعلاه ، قم بتشغيل البرنامج النصي Shell لاستخراج MFA.

   sh run_FS2_preprocessing.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

  
  

يدرب

• ينشئ بنجاح مجموعة نصية للخروج من البيئة الافتراضية وتشغيل البرنامج النصي التعليمي.

   sh run_FS2_train.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

• عند الانتهاء من التعلم Fastspeech2 5000 ، قم بتشغيل البرنامج النصي HIFI.

   sh run_HiFi-GAN_train.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

  
  

توليف

• عندما يكون نموذج تعلم في مجلد CKPT جاهزًا ، قم بتشغيل نص لتوليف.

   sh run_FS2_synthesize.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

خط أنابيب المشروع

يتم إنشاء كل حاوية في عملية التعلم والتوليف والعملية كما هو موضح.

إذا كان لديك نقطة تفتيش مناسبة من HIFI ، فيمكنك حذف تعلم HIFI.