الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

tts الألمانية

Tacotron 2 الألمانية و melgan متعددة النطاق في Tensorflow مع دعم الاستدلال TF لايت

شكر وتقدير

دعمت Google هذا العمل من خلال توفير ائتمان Google Cloud. شكرا لك Google لدعم المصدر المفتوح! ؟

ملخص

أقوم بإصدار نماذج النص العصبي الألماني المسبق (TTS) Tacotron 2 و Multi-Band Melgan. وهو يدعم الاستدلال مع تنسيقات saved_model و TF Lite ، ويمكن العثور على جميع النماذج على مركز TensorFlow.

قل مرحبًا في المناقشات إذا وجدت أنه مفيد لأي شيء.

  • انظر inference.py لاستنتاج مع saved_model .
  • انظر inference_tflite.py لاستنتاج مع TF Lite .
  • راجع e2e-notebook.ipynb للتحقق من كيفية تصدير هذه التنسيقات النموذجية.
  • انظر الإصدارات لتنزيل النماذج المسبقة.

مجموعة البيانات

لقد دربت هذه النماذج على مجموعة بيانات Thorsten بواسطة Thorsten Müller. وهي مرخصة بموجب شروط Creative Commons Zero V1 Universal (CC0) ، والتي تُستخدم لإلغاء الاشتراك في حقوق الطبع والنشر تمامًا والتأكد من أن العمل لديه أوسع نطاق. شكرا @thorstenmueller لمثل هذه المساهمة الكبيرة للمجتمع.

ملحوظات

يقوم بعض الأشخاص الطيبين بعمل رائع في Tensorspeech/TensorFlowtts ، والتي كانت تدعم بالفعل TTS باللغة الإنجليزية والصينية والكورية. كنت أرغب في المساهمة في الدعم للألمانية وتدريب هذه النماذج. الآن يدعم كل من التدريب والاستدلال مع المعالجات المناسبة. ستتابع منشور مدونة مفصل ، ولكن بعض الملاحظات السريعة في الوقت الحالي:

  • لقد استفادت من German_transliterate للمعالجة المسبقة النصية. في الأساس ، يقوم بتطبيع الأرقام (على سبيل المثال يحول الأرقام إلى الكلمات) ، ويوسع الاختصارات ويهتم بأعصاب وعلامات علامات الترقيم الألمانية. بالنسبة لأمثلة الاستدلال التي تم إصدارها في هذا الريبو ، فإن هذا هو التبعية الوحيدة بصرف النظر عن TensorFlow.
  • تحتاج إلى تحويل نص الإدخال إلى معرفات رقمية للتغذية في النموذج. أشارك تطبيقًا مرجعيًا لهذا في أمثلة استدلال ، وتحتاج إلى ترميز هذا المنطق لاستخدام النماذج في البيئات غير البايثون (على سبيل المثال ، Android).
  • ينتج Tacotron 2 بعض الضوضاء في النهاية ، وتحتاج إلى قطعها. مرة أخرى ، توضح أمثلة الاستدلال كيفية القيام بذلك.
  • قمت بتصدير Multi-band MelGAN إلى TF Lite دون تحسينات لأنها أنتجت بعض ضوضاء الخلفية عندما قمت بتصديرها مع تلك الافتراضية. لقد استخدمت التحسينات الافتراضية في Tacotron 2 .
  • تنسيقات saved_model التي أطلقها هنا ليست مناسبة للتركين. يستخدم تطبيق الهندسة المعمارية Subclassing API في TensorFlow 2.x ويحصل على مدخلات متعددة في طريقة call لإجبار المعلم أثناء التدريب. تسبب هذا في بعض المشكلات عند التصدير إلى saved_model واضطررت إلى إزالة هذا المنطق قبل التصدير. إذا كنت ترغب في فني النماذج ، فيرجى الاطلاع على شوكة TensorFlowtts.

رخصة

يمكنك استخدام هذه القطع الأثرية النموذجية المسبقة وأمثلة التعليمات البرمجية بموجب شروط ترخيص Apache 2.0. من ناحية أخرى ، قد ترغب في الاتصال بي للاستشارات و/أو التعاون المدفوع في مشاريع الكلام و/أو NLP على عنوان البريد الإلكتروني المعروض في ملف التعريف الخاص بي.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل