Robust_Fine_Grained_Prosody_Control

التحكم القوي والرافعة في توليف الكلام من طرف إلى طرف (مع WaveGlow)

تنفيذ Pytorch من السيطرة على إيجابيات قوية وذات الحبيبات لتوليف الكلام من طرف إلى طرف (غير رسمي)

يستخدم هذا التنفيذ مجموعة بيانات Libritts.

ملحوظات

1. Dev Branch: Tacotron2 مع Multispeaker (مكبر الصوت التضمين). يتم استهلاك معلومات السماعة فقط بواسطة وحدة فك الترميز ، ولا ترى وحدة الانتباه أيًا منها (كنية المؤلفين).
2. فرع Text_side : تنفيذ نموذج التحكم في Prosody.
3. لا يتم تنفيذ مكافحة الإجهاض من جانب الكلام وتطبيع Prosody في الإصدار الحالي ، ولكن يمكنك ببساطة إضافتها فوق الفروع أعلاه.

المتطلبات المسبقة

1. NVIDIA GPU + CUDA CUDNN

يثبت

1. قم بتنزيل واستخراج مجموعة بيانات Libritts
2. استنساخ هذا الريبو: git clone https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control.git
3. القرص المضغوط في هذا الريبو: cd Robust_Fine_Grained_Prosody_Control
4. تهيئة الجهاز الفرعي: git submodule init; git submodule update
5. تحديث. WAV مسارات: sed -i -- 's,/home/keon/speech-datasets/LibriTTS_preprocessed/train-clean-100/,your_libritts_dataset_folder/,g' filelists/*.txt
   • بدلاً من ذلك ، قم بتعيين load_mel_from_disk=True في hparams.py وتحديث مسارات الطيف الميل
6. تثبيت Pytorch 1.0
7. تثبيت قمة
8. تثبيت متطلبات Python أو بناء صورة Docker
   • تثبيت متطلبات Python: pip install -r requirements.txt

تمرين

1. python train.py --output_directory=outdir --log_directory=logdir
2. (اختياري) tensorboard --logdir=outdir/logdir

التدريب باستخدام نموذج تم تدريبه مسبقًا

(TBD)

متعدد GPU (موزعة) والتدريب الأوتوماتيكي المختلط الدقيق

1. غير مدعوم في التنفيذ الحالي.

الاستدلال

1. عينة واحدة: python inference.py -c checkpoint/path -r reference_audio/wav/path -t "synthesize text"
2. عينات متعددة: python inference_all.py -c checkpoint/path -r reference_audios/dir/path

NB عند إجراء طيف الميل إلى تخليق الصوت ، تأكد من تدريب Tacotron 2 و MENCODER على نفس تمثيل طيف الميل.

اقتباس

 @misc{lee2021robust_fine_grained_prosody_control,
  author = {Lee, Keon},
  title = {Robust_Fine_Grained_Prosody_Control},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control}}
}

repos ذات الصلة

WaveGlow أسرع من الشبكة التوليدية القائمة على التدفق في الوقت الحقيقي لتوليف الكلام

NV-Wavenet أسرع من Wavenet في الوقت الحقيقي.

شكر وتقدير

يستخدم هذا التنفيذ رمزًا من repos التالية: nvidia/tacotron-2 ، kinglittleq/gst-tacotron

نحن ممتنون للمؤلفين الورقية ، وخاصة يونغون لي ، وتيسو كيم.