الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

نص المحول إلى الكلام

يحول نظام النص إلى الكلام (TTS) نص اللغة العادية إلى خطاب ؛ تقدم الأنظمة الأخرى تمثيلات لغوية رمزية مثل النسخ الصوتية في الكلام. الآن مع التطور الأخير في التعلم العميق ، من الممكن تحويل النص إلى صوت يمكن فهمه للإنسان. لهذا ، يتم تغذية النص في شبكة عصبية من نوع التشفير لإخراج طيف الميل. يمكن الآن استخدام هذا الطيف الطيف لإنشاء الصوت باستخدام "خوارزمية Griffin-Lim". ولكن نظرًا لعيارها في عدم قدرتها على إنتاج جودة الكلام التي تشبه الإنسان ، يتم استخدام شبكة عصبية أخرى تدعى Wavenet ، والتي يتم تغذيتها بواسطة طيف الطيف لإنتاج صوت حتى أن الإنسان غير قادر على التمييز.

النموذج العمارة

1. Transformer TTS

  • بنية محول ترميز التشفير للتدريب المتوازي بدلاً من ذلك لتدريب SEQ2Seq في حالة Tacotron-2.
  • يتم إرسال النص كإدخال ويخرج النموذج من طيف الميل.
  • يتم استخدام اهتمام متعدد الرؤوس ، مع إخفاء سببي فقط على جانب فك التشفير.
  • الورق: تخليق الكلام العصبي مع شبكة المحولات.

2. Wavenet

*

  • يتم تغذية إخراج Transformer TTS (MEL-SPECTROGRAR) في WAVENET لإنشاء عينات صوتية.
  • على عكس طرز SEQ2Seq Wavenet يسمح أيضًا بالتدريب المتوازي.
  • الورق: Wavenet: نموذج توليدي للصوت الخام.

معلومات مجموعة البيانات

تم تدريب النموذج على مجموعة فرعية من مجموعة بيانات WMT-2014 الإنجليز الألمانية. تم إجراء المعالجة المسبقة قبل تدريب النموذج.
DataSet: https://keithito.com/lj-speed-dataset/

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل