Transformer TTS

Transformer-TTS

• تطبيق Pytorch لتوليف الكلام العصبي مع شبكة المحولات
• يمكن تدريب هذا النموذج على حوالي 3 إلى 4 مرات أسرع من نموذج SEQ2Seq المعروف مثل Tacotron ، وجودة الكلام المصنفة هي نفسها تقريبًا. تم تأكيده من خلال التجربة أن الأمر استغرق حوالي 0.5 ثانية لكل خطوة.
• لم أستخدم Vocoder Wavenet ، لكنني تعلمت شبكة Post باستخدام نموذج CBHG من Tacotron وحولت الطيف إلى موجة خام باستخدام خوارزمية Griffin-Lim.

متطلبات

• تثبيت Python 3
• تثبيت pytorch == 0.4.0
• متطلبات التثبيت:

   pip install -r requirements.txt
  

بيانات

• لقد استخدمت مجموعة بيانات LJSPEEDE التي تتكون من أزواج من النصوص النصية وملفات WAV. يمكن تنزيل مجموعة البيانات الكاملة (13،100 زوج) هنا. لقد أشرت https://github.com/keithito/tacotron و https://github.com/kyubyong/dc_tts للحصول على رمز المعالجة المسبقة.

نموذج ما قبل

• يمكنك تنزيل Model PretRained هنا (160K لنموذج AR / 100K لـ PostNET)
• حدد موقع النموذج المسبق عند نقطة التفتيش/ الدليل.

مؤامرات الانتباه

• ظهرت محاذاة قطرية بعد حوالي 15 ألف خطوة. مؤامرات الانتباه أدناه هي في خطوة 160K. تمثل المؤامرات الانتباه متعدد الرأس لجميع الطبقات. في هذه التجربة ، يتم استخدام H = 4 لثلاث طبقات انتباه. لذلك ، تم رسم 12 مخططًا للانتباه لكل من المشفرات والمشفر والرمز المشفر. باستثناء وحدة فك الترميز ، أظهر عدد قليل من الرؤوس المتعددة محاذاة قطرية.

تشفير انتباه الذات

فك تشفير الانتباه

انتباه تشفير-ديكر

منحنيات التعلم والألفاس

• لقد استخدمت الاحماء على نمط NOAM وتتحلل مثل Tacotron

• تختلف قيمة ألفا لترميز الموضع المقوس عن الأطروحة. في الورقة ، يتم زيادة قيمة ألفا للمشفر إلى 4 ، بينما في التجربة الحالية ، زادت قليلاً في البداية ثم انخفضت بشكل مستمر. انخفض وحدة فك التشفير ألفا بشكل مطرد منذ البداية.

ملاحظات تجريبية

1. معدل التعلم هو معلمة مهمة للتدريب. مع معدل التعلم الأولي البالغ 0.001 والتحلل بشكل كبير لا يعمل.
2. القطع التدرج هو أيضا معلمة مهمة للتدريب. لقد قطعت التدرج مع قيمة المعيار 1.
3. مع توقف التوقف عن الرمز المميز ، لم يتدرب النموذج.
4. كان من المهم للغاية تسلسل ناقلات المدخلات والسياق في آلية الانتباه.

عينات تم إنشاؤها

• يمكنك التحقق من بعض العينات التي تم إنشاؤها أدناه. جميع العينات خطوة في 160 كيلو ، لذلك أعتقد أن النموذج لم يتقارب بعد. يبدو أن هذا النموذج أقل أداء في الجمل الطويلة.

  • عينة 1
  • عينة 2
  • عينة 3

• المؤامرة الأولى هي طيف ميل المتوقعة ، والثاني هو الحقيقة الأساسية.

وصف الملف

• hyperparams.py يشمل جميع المعلمات المفرطة المطلوبة.
• إعداد ملفات WAV prepare_data.py إلى MEL ، والطيفي الخطي وحفظها لوقت تدريب أسرع. رموز المعالجة المسبقة للنص في النص/ الدليل.
• preprocess.py يتضمن جميع رموز المعالجة المسبقة عند تحميل البيانات.
• يحتوي module.py على جميع الطرق ، بما في ذلك الانتباه ، prenet ، postnet وما إلى ذلك.
• يحتوي network.py على شبكات بما في ذلك الشفرة ، وشبكة فك التشفير وشبكة ما بعد المعالجة.
• train_transformer.py لتدريب شبكة الانتباه التلقائي. (نص -> ميل)
• train_postnet.py هو لتدريب شبكة البريد. (ميل -> خطي)
• synthesis.py لتوليد عينة TTS.

تدريب الشبكة

• الخطوة 1. قم بتنزيل واستخراج بيانات LJSpeech في أي دليل تريده.
• الخطوة 2. اضبط مكافآت Hyperparameters في hyperparams.py ، وخاصة "Data_Path" وهو دليل تقوم باستخراج الملفات والآخرين إذا لزم الأمر.
• الخطوة 3. تشغيل prepare_data.py .
• الخطوة 4. تشغيل train_transformer.py .
• الخطوة 5. تشغيل train_postnet.py .

إنشاء ملف TTS WAV

• الخطوة 1. تشغيل synthesis.py . تأكد من خطوة الاستعادة.

مرجع

• Keith Ito: https://github.com/keithito/tacotron
• Kyubyong Park: https://github.com/kyubyong/dc_tts
• jadore801120: https://github.com/jadore801120/attention-is- all-you-need-pytorch/

تعليقات

• أي تعليقات للرموز نرحب دائمًا.