الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

سوف أركز على تطوير style-bert-vits2 لذا لن أقوم بتحديث هذا بعد الآن: https://github.com/litagin02/style-bert-vits2

مقالة مرجعية Bert-Vits2:

Vits-Japros-Webui

هذا هو webui لنظام التشغيل Windows يتيح لك تعلم نماذج Vits اليابانية ويسمح لك بتجميع الكلام مع لهجات. إذا كان لديك تخليق خطاب فقط ، فيمكنك استخدامه حتى بدون بطاقة رسومات.

؟ توليف الكلام العرض التوضيحي

تخليق الكلام يذاكر
العرض التوضيحيالعرض التوضيحي

japros؟

  • يوجد إطار يسمى ESPNET يسمح بمعالجة موحدة لمهام معالجة الصوت المختلفة في التعلم الآلي.
  • يمكن استخدام الحالات كوسيلة لتعلم TTS على ESPNET.
  • عند التعلم TTS ، يتيح لك ESPNET تحديد طريقة ( G2P ) لتحويل نص التعلم (الجمل اليابانية) إلى تسلسلات صوتية (G2P) ، وأحدها هو pyopenjtalk_prosody ، الذي يحتوي على رمز لهجة.

في هذه الحالة ، أتناول نموذجًا مدربًا مع G2P باللغة اليابانية باستخدام pyopenjtalk_prosody وقراءته للراحة (اقتراح من Bing-chan).

يعالج Pyopenjtalk_prosody أيضًا رموزًا مثل اللهجات ، بحيث يمكنك استخدامها للتحكم في اللهجات (ハ➚シハ➘シ).

تفاصيل رمز لهجة
رمز دور مثال
[ اللكنة ترتفع من هنا (صورة ➚) مرحبًا →コ[ンニチワ
] اللكنة تسقط من هنا (صورة ➘) كيوتو →キョ]オト
(مساحة نصف عرض) قصيدة المقطوعة في لهجة (بطريقة ما قطعة واحدة من الكعكة)ソ[レワ ム[ズカシ]イ
、 تشكل (أخذ نفسا). استخدمه عندما تريد أن تجعل وضع قصير.ハ]イ、ソ[オ オ[モイマ]ス
? سأضيفه إلى نهاية السؤال.キ[ミワ ダ]レ?

ما هذا؟

هذا شيء يتيح لك تدريب وتحميل وتوليف الكلام لنماذج Japros في بيئة Windows المحلية.

تعلُّم

  • مع النسخ التلقائي من الملفات الصوتية باستخدام أسرع
  • يتم تعديل التعلم نفسه لتشغيله على Windows ، مما يسمح بتعلم Vits Japros مع الحد الأدنى من العمليات.

حول تخليق الكلام

  • تحكم في البهجة البديهية إلى حد ما (ربما) مع كاتاكانا والرموز
  • سرعة الكلام البسيطة ، وظيفة تعديل الملعب والتجويد (من Pyworld)
  • كما أنه يعمل على وحدة المعالجة المركزية (يمكن أن تبدأ بشكل منفصل أثناء التعلم والتحقق)
  • حتى إذا لم يكن نموذجًا تم إنشاؤه باستخدام هذا ، إذا كان نموذجًا هو pyopenjtalk_prosody في حالات مع ESPNET ، فيجب أن يعمل إذا تم تضمينه مع config.yaml

كيفية استخدام

ثَبَّتَ

لقد أكدت أنها تعمل على RTX 4070 على Windows 11 مع Python 3.10.

  1. أولا ، استنساخ هذا المستودع. 
git clone https://github.com/litagin02/vits-japros-webui.git
  1. انقر نقرًا مزدوجًا فوق setup.bat في الداخل وانتظر لحظة. عند Setup complete. يظهر ، لقد انتهيت.

كيفية استخدام

  • التعلم: انقر نقرًا مزدوجًا webui_train.bat
  • تخليق الكلام: عرض أدناه لوضع ملف pth ثم انقر نقرًا مزدوجًا فوق webui_infer.bat
  • تحديث: انقر نقرًا مزدوجًا update.bat

لمزيد من المعلومات وإذا لم تكن بحاجة إلى webui ، يرجى النقر هنا.

ضع نموذجًا لتوليف الكلام

للنماذج ، قم بإنشاء دليل فرعي في دليل weights ووضع ملف {数字}epoch.pth في الداخل. إذا كنت تستخدم نموذجًا خارجيًا (متوافقًا فقط مع النماذج التي تم إنشاؤها باستخدام pyopenjtalk_prosody في حركات مع ESPNET) ، فيرجى أيضًا تضمين config.yaml عند الدراسة. 

 weights
├── model1
│    └── 100epoch.pth
|── model2
│    ├── 50epoch.pth
│    └── config.yaml
...

ائتمان

  • ESPNET: يستخدم هذا المستودع وحدة ESPNET Python الأصلية لتشغيلها على Windows (لا توجد سوى تعديلات على مواقع إنشاء الارتباطات os.uname والرمزية).
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل