shanghainese tts
2023.06.06
لإنشاء نظام نص إلى كلام (TTS) لشنغهيني من الصفر ، سعيا لتحسين إنتاج النغمة Sandhi مقارنة بالنماذج الحالية من خلال إيلاء اهتمام خاص للمعالجة المسبقة للنص.
انظر الكتابة/main.pdf.
pip install -r phonemisation/requirements.txt
pip install -r speech_synthesis/requirements.txt
pip install -r comparison_questionnaire/requirements.txt # for analysis of questionnaire results انظر speech_synthesis/README.md .
phonemisation/ : يحتوي على وحدة الصوتيةphonemisation/__init__.pypython -m phonemisation "text to phonemise"jieba لتجزئة الكلماتQieyun لإضافة رقم النغمة 1 إلى مقاطع من نغمة yinping / inbin ؛ نغمات أخرى غير محددة من الناحية الصوتيةromanisation_to_ipa في romanisation.pymake_metadata.py : يستخدم وحدة phonemisation لتحويل النسخ إلى IPA وإنشاء بيانات التعريف للتدريبdata/data/ : يحتوي على مجموعة البيانات المستخدمة للتدريبshh.dict.cn/ يستخدم للتدريب*/metadata.txt بواسطة make_metadata.pytraining/coqui-ai/TTS ، والذي يحتوي على تنفيذ حالاتwriteup/ : الكتابةspeech_synthesis/ : يحتوي على نموذج توليف الكلامspeech_synthesis/README.md لمزيد من التفاصيلcomparison_questionnaire/ : يحتوي على ملفات الاستبيان والملفات الصوتية المستخدمة لمقارنة الكلام الذي ينتجه هذا النموذج ونموذج Apple ومكبر صوت بشري*-1.wav : أنتجته هذا النموذج*-2.wav : أنتجت Apple Voiceover (MacBook Pro 14 بوصة ، 2021 ؛ Macos Ventura 13.0.1)*-3.wav : تحدث بنفسيstats.ipynb : دفتر Jupyter لتحليل نتائج الاستبيان
