TTS papers

(لا تتردد في اقتراح تغييرات)

أوراق

• دمج تمثيلات phoneme و char: https://arxiv.org/pdf/1811.07240.pdf
• Tacotron Transfer Learning: https://arxiv.org/pdf/1904.06508.pdf
• توقيت VONEME من الانتباه: https://ieeexplore.ieee.org/stamp/stamp.jsp؟tp=&arnumber=8683827
• التدريب شبه الخاضع للإشراف لتحسين كفاءة البيانات في تخليق الكلام الشامل-https://arxiv.org/pdf/1808.10128.pdf
• الاستماع أثناء التحدث: سلسلة الكلام عن طريق التعلم العميق - https://arxiv.org/pdf/1707.04879.pdf
• خسارة من طرف إلى نهائي للتحقق من السماعة: https://arxiv.org/pdf/1710.10467.pdf
• ES-TACOTRON2: Tacotron 2 مع شبكة مقدرة مسبقًا لتقليل مشكلة الإفراط في الإفراط: https://www.mdpi.com/2078-2489/10/4/131/pdf
  • ضد الإفراط في التسلل
• Fastspeech: https://arxiv.org/pdf/1905.09263.pdf
• تعلم الغناء من الكلام: https://arxiv.org/pdf/1912.10128.pdf
• TTS-GAN: https://arxiv.org/pdf/1909.11646.pdf
  • يستخدمون المدة والميزات اللغوية ل en2en tts.
  • بالقرب من أداء Wavenet.
• Durian: https://arxiv.org/pdf/1909.01700.pdf
  • مدة إدراك تاكوترون
• Melnet: https://arxiv.org/abs/1906.01083
• Aligntts: https://arxiv.org/pdf/2003.01950.pdf
• تحلل الكلام غير الخاضع للرقابة عبر عنق الزجاجة الثلاثية
  • https://arxiv.org/pdf/2004.11284.pdf
  • https://anonymous0818.github.io/
• FlowTron: https://arxiv.org/pdf/2005.05957.pdf
  • تدفق Autoregresive معكوس على تاكوترون مثل الهندسة المعمارية
  • WaveGlow كما vocoder.
  • تدمير نمط الكلام مع مزيج من النموذج الغوسي.
  • النموذج كبير و havier من الفانيليا تاكوترون
  • قيم MOS أفضل من تنفيذ تاكوترون العام.
• نظام نص إلى كلام قابل للتدريب فعليًا استنادًا إلى شبكات تلافيفية عميقة مع اهتمام موجه: https://arxiv.org/pdf/1710.08969.pdf

ملخصات واسعة

نص عدواني من طرف إلى خط الكبير: http://arxiv.org/abs/2006.03575 (انقر للتوسع)

• end2end تغذية for-for-forward التعلم.
• وقد تم محاذاة الشخصية مع وحدة Aligner منفصلة.
• يتنبأ Aligner طول كل حرف. - تم العثور على موقع مركز char wrt الطول الإجمالي للشخصيات السابقة. - يتم استيعاب مواقع char مع نافذة غوسية wrt طول الصوت الحقيقي.
  • يتم حساب الإخراج الصوتي في مجال MU-LAW. (ليس لدي منطق لهذا)
  • استخدم فقط 2 ثانية من النوافذ الصوتية للترك.
  • يتم استخدام مولد GAN-TTS لإنتاج إشارة صوتية.
  • يتم استخدام RWD كمياهي مستوى الصوت.
  • MELD: يستخدمون العمارة العميقة الكبرى حيث أن التمييز على مستوى الطيفية يقومون بتشغيل المشكلة كإعادة بناء للصور.
  • فقدان الطيف
    • لا يكفي استخدام الظهير العدواني فقط لتعلم محاذاة char. يستخدمون فقدان الطيف B/W المتوقع الطيفي ومواصفات الحقيقة الأرضية.
    • لاحظ أن هذا النموذج يتنبأ بالإشارات الصوتية. يتم حساب الطيف المذكور أعلاه من الصوت الذي تم إنشاؤه.
    • يتم استخدام التفاف الوقت الديناميكي لحساب محاذاة الحد الأدنى من التكلفة B/W التي تم إنشاؤها والحماس الأرضي.
    • إنه ينطوي على نهج البرمجة الديناميكية لإيجاد محاذاة ضئيلة التكلفة.
  • يتم استخدام فقدان طول المحاذاة لمعاقبة المحاذاة للتنبؤ مختلفا عن طول الصوت الحقيقي.
  • يقومون بتدريب النموذج باستخدام مجموعة بيانات مكبرات الصوت المتعددة لكنهم تقارير النتائج على أفضل مكبرات صوت أداء.
  • دراسة الاجتثاث أهمية كل مكون: (الطول والطيفيوغرافيا)> rwd> meld> phonemes> multispeakerdataset.
  • بلدي 2 سنتات: إنه نموذج للأمام التغذية الذي يوفر توليف الكلام النهائي -2 مع عدم وجود حاجة لتدريب نموذج مركزي منفصل. ومع ذلك ، فهو نموذج معقد للغاية مع الكثير من أجهزة التقدمية وتفاصيل التنفيذ. كما أن النتيجة النهائية ليست قريبة من أحدث الفنون. أعتقد أننا بحاجة إلى إيجاد خوارزميات محددة لتعلم محاذاة شخصية من شأنها أن تقلل من الحاجة إلى ضبط مجموعة من الخوارزميات المختلفة.

Fast Speech2: http://arxiv.org/abs/2006.04558 (انقر للتوسع)

• استخدم فترات صوتية تم إنشاؤها بواسطة MFA كعلامات لتدريب منظم الطول.
• Thay استخدم مستوى إطار F0 و L2 طيفية (معلومات التباين) كميزات إضافية.
• تتنبأ وحدة التنبؤ بالتباين بمعلومات التباين في وقت الاستدلال.
• التحسينات نتائج دراسة الاجتثاث: نموذج <model + l2_norm <model + l2_norm + f0

Glow-tts: https://arxiv.org/pdf/2005.11129.pdf (انقر للتوسع)

• استخدم البحث الرتيب لمحاذاة لمعرفة نص محاذاة B/W
• يتم استخدام هذه المحاذاة لتدريب المتنبئ مدة لاستخدامها في الاستدلال.
• يقوم التشفير بتعيين كل حرف لتوزيع غاوسي.
• خرائط فك التشفير كل إطار طيفي إلى متجه كامن باستخدام تدفق تطبيع (طبقات التوهج)
• يتم محاذاة مخرجات التشفير ودلو المدجور مع MAS.
• في كل تكرار ، تم العثور على المحاذاة الأكثر احتمالًا بواسطة MAS ويتم استخدام هذه المحاذاة لتحديث معلمات الوضع.
• يتم تدريب تنبؤ المدة على التنبؤ بعدد إطارات الطيف لكل حرف.
• في الاستدلال ، يتم استخدام تنبؤ المدة فقط بدلاً من MAS
• يحتوي Encoder على بنية محول TTS مع 2 تحديث
• بدلاً من الترميز الموضعي المطلق ، يستخدمون الترميز الموضعي.
• كما يستخدمون اتصال متبقي لـ Prenet المشفر.
• Decoder لديه نفس الهندسة المعمارية مثل نموذج التوهج.
• يقومون بتدريب كل من طراز واحد ومتعدد الكلام.
• يتم عرضه بشكل تجريبي ، التوهج tts أكثر قوة مقابل الجمل الطويلة مقارنة مع tacotron2 الأصلي
• 15x أسرع من Tacotron2 عند الاستدلال
• بلدي 2 سنتات: عيناتهم لا تبدو طبيعية مثل تاكوترون. أعتقد أن نماذج الاهتمام العادية لا تزال تولد المزيد من الكلام الطبيعي لأن الاهتمام يتعلم تعيين الشخصيات لنمذجة المخرجات مباشرة. ومع ذلك ، قد يكون استخدام Glow-TTS بديلاً جيدًا لمجموعات البيانات الصلبة.
• العينات: https://github.com/jaywalnut310/glow-tts
• المستودع: https://github.com/jaywalnut310/glow-tts

النص العصبي غير العائلي: http://arxiv.org/abs/1905.08459 (انقر للتوسع)

• اشتقاق من نموذج الصوت العميق 3 باستخدام طبقات تلافيفية غير عادية.
• نموذج المعلم والطالب لتدريب طالب آنون-أووتوريون مع كتل اهتمام متعددة من نموذج المعلم الانحدار التلقائي.
• يتم استخدام المعلم لإنشاء محاذاة نص إلى طيف لاستخدامه من قبل نموذج الطالب.
• يتم تدريب النموذج مع وظيفتين خسارة لمحاذاة الانتباه وتوليد الطيف.
• تعدد الانتباه كتل صقل طبقة محاذاة الانتباه حسب الطبقة.
• يستخدم الطالب انتباه Dot-Product مع ناقلات الاستعلام والمفتاح والقيمة. الاستعلام هو فقط ناقلات ترميز positinal. المفتاح والقيمة هما مخرجات التشفير.
• يرتبط النموذج المقترح ارتباطًا وثيقًا بالترميز الموضعي الذي يعتمد أيضًا على قيم ثابتة مختلفة.

تناسق وحدة فك الترميز المزدوجة: https://erogol.com/solving-attention-problems-of-tts-models-with-double-decoder- consistency (انقر للتوسع)

• يستخدم النموذج تاكوترون مثل الهندسة المعمارية ولكن مع 2 فك التشفير و postnet.
• تستخدم DDC اثنين من فك التشفير المتزامن باستخدام معدلات تخفيض مختلفة.
• تستخدم وحدة فك الترميز معدلات تخفيض مختلفة وبالتالي تحسب المخرجات في حالات تفصيلية مختلفة وتعلم جوانب مختلفة من بيانات الإدخال.
• يستخدم النموذج الاتساق بين هذين فك التشفير لزيادة متانة محاذاة النص إلى الطيف المستفاد.
• يطبق النموذج أيضًا تحسينًا على إخراج وحدة فك الترميز النهائية عن طريق تطبيق postnet بشكل متكرر عدة مرات.
• تستخدم DDC تطبيع الدُفعات في وحدة Prenet وطرد طبقات التسرب.
• يستخدم DDC التدريب التدريجي لتقليل إجمالي وقت التدريب.
• نحن نستخدم مولد Melgan متعدد النطاقات كمركبات مدربة مع تمييزات متعددة من النوافذ العشوائية بشكل مختلف عن العمل الأصلي.
• نحن قادرون على تدريب طراز DDC فقط في يومين مع وحدة معالجة الرسومات الواحدة والنموذج النهائي قادر على توليد خطاب في الوقت الفعلي على وحدة المعالجة المركزية. الصفحة التجريبية: https://erogol.github.io/ddc-samples/ الكود: https://github.com/mozilla/tts

Tacotron2 الموازي: http://arxiv.org/abs/2103.14574 (انقر للتوسع)

• لا يتطلب معلومات مدة خارجية.
• يحل مشكلات المحاذاة بين الطيف الحقيقي والأرضية عن طريق فقدان DTW اللينة.
• يتم تحويل الفترات المتوقعة إلى المحاذاة من خلال وظيفة التحويل المستفادة ، بدلاً من منظم الطول ، لحل مشكلات التقريب.
• يتعلم خريطة الانتباه على "شبكات الحدود الرمزية" التي يتم حسابها من فترات متوقعة.
• تم بناء Decoder على 6 كتل "كتل Convoltions خفيفة الوزن".
• يتم استخدام VAE لتسجيل طيف الإدخال على الميزات الكامنة ودمجها مع تضمينات الحرف كمدخل للشبكة.
• Soft-DTW مكثف حسابيًا لأنه يحسب الفرق الزوجي لجميع إطارات الطيف. أنها تبقيها مع نافذة قطرية معينة لتقليل النفقات العامة.
• الهدف النهائي المدة هو مجموع فقدان المدة ، وفقدان VAE وفقدان الطيف.
• أنها تستخدم فقط مجموعات البيانات الملكية للتجارب؟
• يحقق نفس MOS مع طراز Tacotron2 ويتفوق على Paralleltacotron.
• الصفحة التجريبية : https://google.github.io/tacotron/publications/paralled_tacotron_2/index.html
• الرمز : لا رمز حتى الآن

Wavegrad2: https://arxiv.org/pdf/2106.09660.pdf (انقر للتوسع)

• يحسب الشكل الموجي الخام مباشرة من تسلسل الصوت.
• يتم استخدام طراز Tacotron2 مثل التشفير لحساب تمثيل مخفي من الصوتيات.
• Tacotron غير الحاقدة مثل التنبؤ المدة الناعمة لمحاذاة التمثيل المخفي مع الإخراج.
• يوسعون التمثيل المخفي مع فترات الرهانات المتوقعة وعينة نافذة معينة لتحويلها إلى شكل موجة.
• لقد استكشفوا أحجام النوافذ المختلفة Netween 64 و 256 إطارًا يتوافق مع 0.8 و 3.2 ثانية من الكلام. وجدوا أن أكبر هو الأفضل.
• الصفحة التجريبية : لا شيء حتى الآن
• الرمز : لا رمز حتى الآن

---

أوراق متعددة الكلام

• تدريب أنظمة النصوص العصبية متعددة النطق باستخدام شركة الكلام المتوازنة-https://arxiv.org/abs/1904.0071
• صوت عميق 2-https://papers.nips.cc/paper
• عينة من TTS التكيفي الفعالة - https://openreview.net/pdf؟id=rkzjuoAcfx
  • wavenet + اتباع نهج تضمين مكبر الصوت
• حلقة الصوت - https://arxiv.org/abs/1707.06588
• نمذجة المساحة الكامنة متعددة الكلام لتحسين TTS Neural Quick Neader Neader وتعزيز الصوت المتميز - https://arxiv.org/pdf/1812.05253.pdf
• نقل التعلم من التحقق من مكبر الصوت إلى توليف النص إلى النطق متعدد الحمل-https://arxiv.org/pdf/1806.04558.pdf
• تركيب مكبرات صوت جديدة استنادًا إلى عينة قصيرة غير موصوفة - https://arxiv.org/pdf/1802.06984.pdf
• خسارة معممة من طرف إلى النهاية للتحقق من السماعات-https://arxiv.org/abs/1710.10467

ملخصات واسعة

التعلم شبه الخاضع للإشراف لتوليف النص إلى الكلام متعدد الكلام باستخدام تمثيل الكلام المنفصل: http://arxiv.org/abs/2005.08024

• قم بتدريب نموذج TTS متعدد النطاقات مع بيانات مقترنة لمدة ساعة فقط (محاذاة نصية إلى نصية) وبيانات أكثر غير متوفرة (فقط voide).
• يتعلم كتاب رمز مع كل كلمة رمز تتوافق مع صوت واحد.
• يتم محاذاة كتاب التعليمات البرمجية مع الصوتيات باستخدام البيانات المقترنة وخوارزمية CTC.
• يعمل دفتر الرمز هذا مثل الوكيل لتقدير تسلسل Phoneme ضمنيًا للبيانات غير المقيدة.
• أنها تكدس نموذج Tacotron2 في الأعلى لتنفيذ TTS باستخدام التضمينات كلمة الكود الناتجة عن الجزء الأولي من النموذج.
• لقد تغلبوا على الأساليب القياسية في إعداد البيانات المقترنة لمدة ساعة واحدة.
• إنهم لا يبلغون عن نتائج البيانات الكاملة.
• ليس لديهم دراسة استئصال جيدة والتي قد تكون مثيرة للاهتمام لمعرفة كيف تساهم أجزاء مختلفة من النموذج في الأداء.
• إنهم يستخدمون غريفين-ليم كمتفوق وبالتالي هناك مساحة للتحسين.

الصفحة التجريبية: https://ttaoretw.github.io/multispkr-semi-tts/demo.html
الكود: https://github.com/ttaoretw/semi-tts

TUTENTRON: القليل من النص إلى الكلام الذي يستغل الطول المتغير القائم على الانتباه: https://arxiv.org/abs/2005.08484

• استخدم اثنين من التشفير لتعلم السماعات التي تعتمد على الميزات.
• يتعلم المشفر الخشن متجهًا عالميًا لتضمين المتحدث استنادًا إلى طيف مرجعي.
• يتعلم الترميز الدقيق دمجًا متغيرًا مع الحفاظ على خفرة الزمن بالتعاون مع وحدة الانتباه.
• يختار الانتباه إطارات الطيف المرجعية المهمة لتوليف الكلام المستهدف.
• مسبقًا على النموذج مع مجموعة بيانات مكبر صوت واحدة أولاً (ljspeech لـ 30k iters.)
• صقل النموذج مع مجموعة بيانات متعددة المتحدثين. (VCTK لـ 70k iters.)
• إنه يحقق مقاييس أفضل قليلاً مقارنةً باستخدام المحلات السينية من نموذج تصنيف السماعات وشرح الصوت المرجعي القائم على VAE.

الصفحة التجريبية: https://hyperconnect.github.io/attentron/

نحو النص العالمي إلى الكلام: http://www.interspech2020.org/uploadfile

• إطار لتسلسل لتسلسل TTS متعدد اللغات
• تم تدريب النموذج مع مجموعة بيانات كبيرة للغاية وغير متوازنة للغاية.
• هذا النموذج قادر على تعلم لغة جديدة مع 6 دقائق ومتحدث جديد مع 20 ثانية من البيانات بعد التدريب الأولي.
• بنية النموذج هي شبكة ترميز تشفير تستند إلى محول مع شبكة مكبر صوت وشبكة لغة للمتكلم واللغة conditinoning. يتم تسلسل مخرجات هذه الشبكات إلى إخراج التشفير.
• تأخذ شبكات التكييف متجهًا محمولًا يمثل معرف المتحدث أو معرف اللغة وتعرضه لتمثيل تكييف.
• إنهم يستخدمون Vocoder Wavenet لتحويل طيف الميل إلى ناتج الموجة.
• يستخدمون اللغة المُعتمد على مدخلات الصوتيات التي لم يتم مشاركتها بين اللغات.
• يقومون بتجربة كل دفعة بناءً على التردد العكسي لكل لغة في مجموعة البيانات. وبالتالي ، فإن كل دفعة تدريب لها توزيع موحد على اللغات ، مما يخفف من عدم التوازن في اللغة في مجموعة بيانات التدريب.
• لتعلم مكبرات الصوت/اللغات الجديدة ، فإنها تطفئ نموذج التشفير والرفض مع شبكات التكييف. إنهم لا يدربون نموذج Wavenet.
• يستخدمون 1250 ساعة تسجيلات مهنية من 50 لغة للتدريب.
• يستخدمون معدل أخذ العينات 16 كيلو هرتز لجميع عينات الصوت ويقصون الصمت في بداية ونهاية كل مقطع.
• يستخدمون 4 V100 وحدات معالجة الرسومات للتدريب لكنهم لا يذكرون المدة التي قاموا بتدريبها على النموذج.
• تظهر النتائج أن نماذج المتحدث الفردية أفضل من النهج المقترح في MOS Metric.
• يعد استخدام شبكات التكييف أمرًا مهمًا لللغات الطويلة في مجموعة البيانات لأنها تعمل على تحسين مقياس MOS لهم ولكنها تضعف أداء اللغات ذات الموارد العالية.
• عندما يضيفون مكبر صوت جديد ، يلاحظون أن استخدام أكثر من 5 دقائق من البيانات يحط من أداء النموذج. يزعمون أنه نظرًا لأن هذه التسجيلات ليست نظيفة مثل التسجيلات الأصلية ، فإن استخدام المزيد منها يؤثر على الأداء العام للنموذج.
• إن النموذج متعدد اللغات قادر على التدريب مع 6 دقائق فقط من البيانات للتحدث واللغات الجديدة في حين يتطلب نموذج مكبر صوت واحد 3 ساعات للتدريب ولا يمكن حتى تحقيق قيم MOS مماثلة كنموذج متعدد اللغات 6 دقائق.

Adaspeech: نص متكيف إلى الكلام من أجل الصوت المخصص: https://openreview.net/pdf؟id=drynvt7gg4l

• اقترحوا نظامًا يمكن أن يتكيف مع خصائص المستخدمات الصوتية المختلفة للمستخدمين ويستخدم الحد الأدنى لعدد المعلمات لتحقيق ذلك.
• تعتمد الهندسة المعمارية الرئيسية على نموذج Fastspeesh2 الذي يستخدم تنبؤات الملعب والتباين لمعرفة الحبيبات الدقيقة لخطاب المدخلات.
• يستخدمون 3 شبكات تكييف إضافية.
• مستوى الكلام. يستغرق طيف الميل من الكلام المرجعي كمدخلات.
• مستوى الصوت. يستغرق مستوى طيف MEL-spectrograms كمدخلات ويحسب متجهات تكييف على مستوى الصوت. يتم احتساب طيف الميل الصوتي على مستوى الصوت عن طريق أخذ متوسط إطار الطيفية في مدة كل صوتي.
• فونيم المستوى 2. يستغرق مخرجات تشفير Phoneme كمدخلات. هذا يختلف عن الشبكة أعلاه بمجرد استخدام معلومات الصوت دون رؤية الطيف.
• كل شبكات التكييف هذه والعربة الخلفية تستخدم Fastspeech2 طبقات تطبيع الطبقة.
• تطبيع الطبقة الشرطية. يقترحون صياغة المعلمات المقياس والتحيز فقط لكل طبقة تطبيع عندما يتم ضبط النموذج لمكبر صوت جديد. يقومون بتدريب وحدة تكييف مكبر الصوت لكل طبقة معيارية طبقة تقوم بإخراج مقياس وقيم التحيز. (يستخدمون وحدة تكييف مكبر صوت واحدة لكل كتلة محول.)
• هذا يعني أنك تخزن فقط وحدة تكييف السماعات لكل مكبر صوت جديد وتنبؤ بقيم المقياس والتحيز عند الاستدلال وأنت تبقي بقية النموذج كما هو.
• في التجارب ، يقومون بتدريب النموذج المسبق على مجموعة بيانات Libritts ويقومون بضبطه باستخدام VCTK و LJSPEEDE
• تظهر النتائج أن استخدام تطبيع الطبقة الشرطية يحقق أفضل من خطوط الأساس 2 التي تستخدم فقط التضمين الشبكة وضبط شبكة فك التشفير.
• تُظهر دراسة الاجتثاث الخاصة بهم أن الجزء الأكثر أهمية في النموذج هو شبكة "مستوى الصوت" تليها شبكة تطبيع الطبقة الشرطية و "مستوى الكلام" بترتيب.
• أحد الأطباق المهمة للورقة هو أنه لا توجد مقارنة مع الأدب تقريبًا ويجعل النتائج أكثر صعوبة في تقييم موضوعي.

الصفحة التجريبية: https://speechresearch.github.io/adaspeech/

---

انتباه

• آليات الاهتمام بالتعدد في الموقع لتخليق قوي طويل-https://arxiv.org/pdf/1910.10288.pdf

---

الصوت

• Melgan: https://arxiv.org/pdf/1910.06711.pdf

• ParallelWavegan: https://arxiv.org/pdf/1910.11480.pdf

  • فقدان STFT متعدد المقياس
  • ~ 1M معلمات النموذج (صغيرة جدا)
  • أسوأ بقليل من ويفرن

• تحسين fftnet

  • https://www.okamotocamera.com/slt_2018.pdff
  • https://www.okamotocamera.com/slt_2018.pdf

• fftnet

  • https://gfx.cs.princeton.edu/pubs/jin_2018_far/clips/clips.php
  • https://gfx.cs.princeton.edu/pubs/jin_2018_far/fftnet-jin2018.pdf

• إعادة بناء الموجي على الكلام باستخدام أعمال NeuralNetworks التلافيك مع الضوضاء والمدخلات الدورية

  • 150.162.46.34:8080/icassp2019/icassp2019/pdfs/0007045.pdf

• نحو تحقيق المبررات الشاملة القوية

  • https://arxiv.org/pdf/1811.06292.pdf

• LPCNET

  • https://arxiv.org/pdf/1810.11846.pdf
  • https://arxiv.org/pdf/2001.11686.pdf

• excitenet

  • https://arxiv.org/pdf/1811.04769v3.pdf

• الجيلب: التنبؤ الخطي المستجيب لـ GAN لتوليف الكلام من طيف الطيف

  • https://arxiv.org/pdf/1904.03976v3.pdf

• توليف خطاب عالي الإخلاص مع شبكات الخصومة: https://arxiv.org/abs/1909.11646

  • GAN-TTS ، تخليق الكلام من طرف إلى طرف
  • يستخدم المدة والميزات اللغوية
  • يتم التنبؤ بالمدة والميزات الصوتية بواسطة نماذج إضافية.
  • تمييز النافذة العشوائية: ليس عينة الصوت بأكملها ولكن النوافذ العشوائية.
  • RWDs متعددة. بعض مشروط وبعض غير مشروط. (مشروط بميزات الإدخال)
  • Punchline: استخدم النوافذ التي تم أخذ عينات منها عشوائيًا بأحجام مختلفة للنوافذ لـ D.
  • تبدو النتائج المشتركة ميكانيكية تُظهر حدود الميزات الصوتية غير النيائية.

• Multi-Band Melgan: https://arxiv.org/abs/2005.05106

  • استخدم خسائر PWGAN بدلاً من فقدان مطابقة الميزات.
  • باستخدام حقل أكبر تقبلا يعزز أداء النموذج بشكل كبير.
  • المولد قبل التدريب لمدة 200 ألف.
  • التنبؤ بالإشارة الصوتية متعددة النطاق. الإخراج هو تلخيص 4 تنبؤات نطاق مختلفة مع مرشحات تخليق PQMF.
  • نموذج النطاق متعدد النطاق لديه 1.9m معلمات (صغيرة جدا).
  • يزعم أنه أسرع 7x من Melgan
  • على مجموعة بيانات صينية: MOS 4.22

• WaveGlow: https://arxiv.org/abs/1811.00002

  • نموذج كبير جدا (268 متر معلمات)
  • من الصعب التدريب منذ أن تم تشغيله على وحدة معالجة الرسومات على 12 جيجا بايت ، يمكن أن يأخذ حجم الدُفعة 1 فقط.
  • الاستدلال في الوقت الحقيقي بسبب استخدام الملاحظات.
  • بناء على تدفق التطبيع القابل للعكس. (تعليمي رائع https://blog.evjang.com/2018/01/nf1.html)
  • يتعلم النموذج ورسم الخرائط الدهنية لعينات الصوت إلى طيف الطيف مع فقدان احتمال الحد الأقصى.
  • في تشغيل الشبكة في الاتجاه المعاكس ويتم تحويل MEL-specs إلى عينات صوتية.
  • تم التدريب باستخدام 8 nvidia v100 مع ذاكرة وصول عشوائي 32 جيجابايت ، حجم الدفعة 24. (باهظ الثمن)

• squeezewave: https://arxiv.org/pdf/2001.05685.pdf ، الكود: https://github.com/tianrengao/squeezewave

  • ~ 5-13x أسرع من الوقت الحقيقي
  • Redanduncies WaveGlow: عينات صوتية طويلة ، صمغات MEL-specs ، أبعاد القنوات الكبيرة في وظيفة WN.
  • الإصلاحات: أكثر ولكن عينات صوتية أقصر كمدخلات ، (L = 2000 ، C = 8 Vs L = 64 ، C = 256)
  • L = 64 يطابق دقة MEL-spec حتى لا يلزم إجراء تخطي.
  • استخدم ملحقات قابلة للفصل عمقًا في وحدات WN.
  • استخدم الالتفاف العادي بدلاً من تمدد لأن عينات الصوت أقصر.
  • لا تقسم مخرجات الوحدة النمطية إلى الإخراج المتبقي والشبكة ، على افتراض أن هذه المتجهات متطابقة تقريبًا.
  • تم إجراء التدريب باستخدام حجم الدُفعة Titan RTX 24GB 96 لتكرار 600 ألف.
  • MOS on ljspeech: waveglow - 4.57 ، squeezewave (l = 128 c = 256) - 4.07 و squeezewave (l = 64 c = 256) - 3.77
  • أصغر نموذج لديه 21K عينة في الثانية على RASPI3.

Wavegrad: https://arxiv.org/pdf/2009.00713.pdf

• يعتمد على انتشار الاحتمالات وديناميات Lagenvin
• تتمثل الفكرة الأساسية في تعلم وظيفة تقوم بتوزيع معروف لاستهداف توزيع البيانات بشكل تكرار.
• يقومون بالإبلاغ عن عامل في الوقت الفعلي على GPU ولكن لا يتم مشاركة أداء وحدة المعالجة المركزية.
• في رمز المثال أدناه ، يوضح المؤلف أن النموذج يتقارب بعد يومين من التدريب على وحدة معالجة الرسومات الواحدة.
• درجات MOS على الورق ليست خارقة بما فيه الكفاية ولكنها تظهر أداء مماثل لنماذج معروفة مثل Wavernn و Wavenet.

الرمز: https://github.com/ivanvovk/wavegrad

من الإنترنت (المدونات ومقاطع الفيديو وما إلى ذلك)

مقاطع الفيديو

مناقشة الورق

• Tacotron 2: https://www.youtube.com/watch؟v=2iarxxm-v9w

محادثات

• تحدث على دفع حدود النص العصبي إلى الكلام ، بواسطة Xu Tan ، 2021 ، https://youtu.be/ma8pcvmr8b0
• تحدث عن توليف النص إلى الحديث المستند إلى النموذج ، بقلم Heiga Zen ، 2017
  • فيديو: https://youtu.be/nsrsrytkkt8
  • الشريحة: https://research.google.com/pubs/pub45882.html
• البرامج التعليمية حول توليف النص إلى الكلام العصبي في ISCA Odyessy 2020 ، بقلم شين وانغ ، 2020
  • فيديو: https://youtu.be/wce7sycdzai
  • الشريحة: http://tonywangx.github.io/slide.html#dec-2020
• دورة معالجة الكلام في ISCA على المتفرجين العصبيين ، 2022
  • المكونات الأساسية للمركبات العصبية: https://youtu.be/m833q5i-zys
  • نماذج توليدية عميقة لضغط الكلام (LPCNET): https://youtu.be/7ksnfx3plgw
  • المبررات العصيدة التلقائية ، المصدر والمرشح والرائع: https://youtu.be/gprmxdberx0
    • الشريحة: http://tonywangx.github.io/slide.html#jul-2020
• تخليق الكلام من فك التشفير العصبي للجمل المنطوقة | AISC: https://www.youtube.com/watch؟v=mndtmdpmnmo
• توليف النص إلى الكلام: https://www.youtube.com/watch؟v=J4MVeanking
• توليف الكلام لصناعة الألعاب: https://www.youtube.com/watch؟v=Aohaye4a-2q

عام

• مراجعة أنظمة النص إلى الكلام الحديثة: https://www.youtube.com/watch؟v=8RXLSC-Zcry

جوبيتر دفاتر

• البرامج التعليمية على المتفرجين العصبيين المختارين: https://github.com/nii-yamagishilab/project-nn-pytorch-scripts/tree/master/tutorials/b1_neural_vocoder

المدونات

• رسالة نصية إلى الكلام بنيات التعلم العميق: http://www.erogol.com/text-speech-deep-learning-architectures/