dc_tts

تطبيق TensorFlow لـ DC-TTS: نموذج آخر نص إلى كلام

أقوم بتطبيق نموذج آخر من النص إلى كلام ، DC-TTS ، الذي تم تقديمه في نظام النص إلى الكلام القابل للتدريب بكفاءة استنادًا إلى شبكات تلافيفية عميقة مع اهتمام موجه. هدفي ، ومع ذلك ، ليس فقط تكرار الورقة. بدلاً من ذلك ، أود الحصول على رؤى حول مشاريع الصوت المختلفة.

متطلبات

• numpy> = 1.11.1
• TensorFlow> = 1.3 (لاحظ أن واجهة برمجة تطبيقات tf.contrib.layers.layer_norm قد تغيرت منذ 1.3)
• Librosa
• TQDM
• Matplotlib
• سكيبي

بيانات

أقوم بتدريب النماذج الإنجليزية ونموذج كوري على أربع مجموعات بيانات الكلام المختلفة.

1. مجموعة بيانات الكلام LJ
2. كتب نيك أوفيمان المسموعة
3.
4. KSS Dataset

تستخدم مجموعة بيانات الكلام LJ مؤخرًا كمجموعة بيانات قياسية في مهمة TTS لأنها متوفرة للجمهور ، ولديها 24 ساعة من عينات الجودة المعقولة. بالإضافة إلى ذلك ، يتم استخدام الكتب المسموعة المسموعة في Nick's و Kate لمعرفة ما إذا كان يمكن أن يتعلم النموذج حتى مع بيانات الكلام المتغيرة أقل. هم 18 ساعة و 5 ساعات ، على التوالي. أخيرًا ، KSS Dataset هي مجموعة بيانات خطاب الكلمة الكورية التي تدوم أكثر من 12 ساعة.

تمرين

• الخطوة 0. قم بتنزيل مجموعة بيانات الكلام LJ أو قم بإعداد بياناتك الخاصة.
• الخطوة 1. ضبط المعلمات المفرطة في hyperparams.py . (إذا كنت ترغب في القيام بالمعالجة المسبقة ، فقم بتعيين prepro true`.
• الخطوة 2. تشغيل python train.py 1 للتدريب Text2mel. (إذا قمت بتعيين prepro true ، قم بتشغيل python prepro.py أولاً)
• الخطوة 3. تشغيل python train.py 2 لتدريب SSRN.

يمكنك القيام بخطوة 2 و 3 في نفس الوقت ، إذا كان لديك أكثر من بطاقة GPU واحدة.

منحنيات التدريب

مؤامرة الانتباه

توليف العينة

أقوم بإنشاء عينات الكلام على أساس جمل هارفارد كما تفعل الورقة الأصلية. تم تضمينه بالفعل في الريبو.

• قم بتشغيل synthesize.py وتحقق من الملفات في samples .

عينات تم إنشاؤها

مجموعة البيانات	عينات
LJ	50K 200K 310K 800K
نيك	40K 170K 300K 800K
كيت	40K 160K 300K 800K
KSS	400 كيلو

نموذج ما قبل الولادة ل LJ

قم بتنزيل هذا.

ملحوظات

• لم تذكر الورقة التطبيع ، لكن بدون تطبيع لم أتمكن من العمل. لذلك أضفت تطبيع الطبقة.
• حددت الورقة معدل التعلم إلى 0.001 ، لكنها لم تنجح بالنسبة لي. لذلك أنا تحللها.
• حاولت تدريب Text2mel و SSRN في وقت واحد ، لكنها لم تنجح. أعتقد أن فصل هاتين الشبكتين يخفف من عبء التدريب.
• ادعى المؤلفون أنه يمكن تدريب النموذج خلال يوم واحد ، لكن للأسف لم يكن الحظ لي. ومع ذلك ، فمن الواضح أن هذا هو fater كثيرًا من Tacotron لأنه يستخدم طبقات الالتواء فقط.
• بفضل الاهتمام الموجهة ، تبدو مؤامرة الانتباه رتابة تقريبًا منذ البداية. أعتقد أن هذا يبدو أنه يحتفظ بإحكام أليغمنت حتى لا يفقد المسار.
• لم تذكر الورقة المتسربين. قمت بتطبيقها كما أعتقد أنها تساعد على التنظيم.
• تحقق أيضًا من نماذج TTS الأخرى مثل Tacotron و Deep Voice 3.