الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

Adaspeech: النص التكيفي إلى الكلام للحصول على صوت مخصص [WIP]

تنفيذ Pytorch غير رسمي من Adaspeech.

ملحوظة:

  • أنا لا أفكر في حالة استخدام متعددة المتحدثين ، فأنا أكثر تركيزًا على المتحدث الفردي.
  • سوف أستخدم فقط Utterance level encoder Phoneme level encoder ليس هناك قاعدة طبقة الحالة (التي هي روح ورق adaspeech) ، فهي تقيد الطبيعة التكيفية للأدوش ، لكن تركيزي هو تحسين التعميم الصوتي Fastspeech 2 بدلاً من التكيف.

الاستشهادات 

 @misc { chen2021adaspeech ,
      title = { AdaSpeech: Adaptive Text to Speech for Custom Voice } , 
      author = { Mingjian Chen and Xu Tan and Bohan Li and Yanqing Liu and Tao Qin and Sheng Zhao and Tie-Yan Liu } ,
      year = { 2021 } ,
      eprint = { 2103.00993 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { eess.AS }
}

متطلبات :

جميع الكود المكتوب في Python 3.6.2 .

  • تثبيت Pytorch

قبل تثبيت Pytorch ، يرجى التحقق من إصدار CUDA الخاص بك عن طريق تشغيل الأمر التالي: nvcc --version 

 pip install torch torchvision

في هذا الريبو ، استخدمت Pytorch 1.6.0 لميزة torch.bucketize التي ليست موجودة في الإصدارات السابقة من Pytorch.

  • تثبيت المتطلبات الأخرى: 
 pip install -r requirements.txt
  • لاستخدام Tensorboard تثبيت tensorboard version 1.14.0 seperatly مع tensorflow (1.14.0)

للمعالجة المسبقة:

يحتوي مجلد filelists على ملفات مجموعة بيانات MFA (MotReal Force) المعالجة LJSpeech بحيث لا تحتاج إلى محاذاة نص مع الصوت (لمدة الاستخراج) لمجموعة بيانات LJSPEEDE. لمجموعة البيانات الأخرى اتبع التعليمات هنا. للتشغيل المسبق للمعالجة المسبقة: الأمر التالي: 

 python nvidia_preprocessing.py -d path_of_wavs

للعثور على Min و Max من F0 والطاقة 

 python compute_statistics.py

قم بتحديث ما يلي في hparams.py بواسطة Min و Max من F0 والطاقة 

 p_min = Min F0/pitch
p_max = Max F0
e_min = Min energy
e_max = Max energy

للتدريب 

 python train_fastspeech.py --outdir etc -c configs/default.yaml -n "name"

ملحوظة

  • للحصول على أدوات أدوات أكثر اكتمالا ونهاية الاستنساخ الصوتي أو النص إلى الكلام (TTS) ، يرجى زيارة تقنيات DeepSync.
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل