الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

عمل واجهة المستخدم الرسومية قيد التقدم (تحديث 4 أغسطس 2020)

غلاف واجهة المستخدم الرسومية لتوليف. يسمح بتوليف وحدة المعالجة المركزية فقط عبر مفتاح قابل للتجميل. يتوفر ملف EXE المحمول (يعمل على وحدة المعالجة المركزية فقط).

يلعب أيضا تنبيهات التبرعات TTS من عناصر التيار.

واجهة المستخدم الرئيسية دفق تكامل عناصر

ملخص

برنامج نص قائم على التعلم الآلي لبرنامج الكلام مع واجهة المستخدم الرسومية سهلة الاستخدام. يتضمن الجمهور المستهدف Twitch Streamers أو منشئي المحتوى الذين يبحثون عن برنامج TTS مفتوح المصدر. الهدف من هذا البرنامج هو جعل TTS Synthesis متاحًا في وضع عدم الاتصال (بدون تجربة ترميز ، GPU/COLAB) في EXE محمول.

سمات

  • يقرأ التبرعات من عناصر الدفق تلقائيًا
  • غلاف PYQT5 لـ NVIDIA /TACOTRON2 و /WAVEGLOW

الرابط تنزيل

يمكن العثور على قابلة للتنفيذ محمول في صفحة الإصدارات ، أو مباشرة هنا. قم بتنزيل نموذج Tacotron 2 و WaveGlow من الأسفل.

تحذير: يعمل القابل للتنفيذ المحمول على وحدة المعالجة المركزية مما يؤدي إلى تباطؤ سرعة 10x مقارنة بتشغيله على GPU.

بناء من المصدر

متطلبات

  • بيثون> = 3.7
  • Librosa
  • numpy
  • PYQT5 == 5.15.0
  • الطلبات
  • TQDM
  • Matplotlib
  • سكيبي
  • num2words
  • Pygame

Pytorch 1.0

لتشغيل 

 python gui.py

رخصة

  • NVIDIA/TACOTRON2 & WAVEGLOW: ترخيص BSD-3-CASE

ملحوظات

  • رمز TTS من NVIDIA/TACOTRON2
  • رمز واجهة المستخدم الرسومية الجزئية من https://github.com/corentinj/real-tim-tim-voice-cloning وتخطيط مستوحى من u/realstreamer forsen tts https://www.youtube.com/watch؟v=kl2tglbcdco

الريبو الأصلي:

تاكوترون 2 (بدون Wavenet)

تنفيذ Pytorch لتوليف TTS الطبيعي عن طريق تكييف Wavenet على تنبؤات طيفية MEL.

يتضمن هذا التنفيذ دعمًا دقيقًا ومختلطًا تلقائيًا ويستخدم مجموعة بيانات LJSpeech.

يعتمد دعم الدقة المختلطة الموزعة والأوتوماتيكية على قمة NVIDIA و AMP.

تفضل بزيارة موقعنا على الويب لعينات الصوت باستخدام طرز Tacotron 2 المنشورة ونماذج WaveGlow.

المحاذاة ، المتوقعة طيفية MEL ، الهدف من MEL طيفية

المتطلبات المسبقة

  1. NVIDIA GPU + CUDA CUDNN

يثبت

  1. قم بتنزيل واستخراج مجموعة بيانات الكلام LJ
  2. استنساخ هذا الريبو: git clone https://github.com/NVIDIA/tacotron2.git
  3. القرص المضغوط في هذا الريبو: cd tacotron2
  4. تهيئة الجهاز الفرعي: git submodule init; git submodule update
  5. تحديث. WAV مسارات: sed -i -- 's,DUMMY,ljs_dataset_folder/wavs,g' filelists/*.txt
    • بدلاً من ذلك ، قم بتعيين load_mel_from_disk=True في hparams.py وتحديث مسارات الطيف الميل
  6. تثبيت Pytorch 1.0
  7. تثبيت قمة
  8. تثبيت متطلبات Python أو بناء صورة Docker
    • تثبيت متطلبات Python: pip install -r requirements.txt

تمرين

  1. python train.py --output_directory=outdir --log_directory=logdir
  2. (اختياري) tensorboard --logdir=outdir/logdir

التدريب باستخدام نموذج تم تدريبه مسبقًا

يمكن أن يؤدي التدريب باستخدام نموذج تم تدريبه مسبقًا إلى تقارب أسرع بشكل افتراضي ، ويتم تجاهل طبقات تضمين النصوص المعتمدة على مجموعة البيانات

  1. قم بتنزيل نموذج Tacotron 2 المنشور
  2. python train.py --output_directory=outdir --log_directory=logdir -c tacotron2_statedict.pt --warm_start

متعدد GPU (موزعة) والتدريب الأوتوماتيكي المختلط الدقيق

  1. python -m multiproc train.py --output_directory=outdir --log_directory=logdir --hparams=distributed_run=True,fp16_run=True

التجريبي الاستدلال

  1. قم بتنزيل نموذج Tacotron 2 المنشور
  2. قم بتنزيل نموذج WaveGlow المنشور
  3. jupyter notebook --ip=127.0.0.1 --port=31337
  4. تحميل الاستدلال

NB عند إجراء طيف الميل إلى تخليق الصوت ، تأكد من تدريب Tacotron 2 و MENCODER على نفس تمثيل طيف الميل.

repos ذات الصلة

WaveGlow أسرع من الشبكة التوليدية القائمة على التدفق في الوقت الحقيقي لتوليف الكلام

NV-Wavenet أسرع من Wavenet في الوقت الحقيقي.

شكر وتقدير

يستخدم هذا التنفيذ رمزًا من repos التالية: Keith Ito ، Prem Seetharaman كما هو موضح في الكود لدينا.

نحن مستوحى من تطبيق Ryuchi Yamamoto التاكوتون Pytorch.

نحن ممتنون لمؤلفي الورق Tacotron 2 ، وخاصة جوناثان شين ، ويوكسوان وانغ وزونغنغ يانغ.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل