MB iSTFT VITS with AutoVocoder

طوفية MB مع ترميز Autovocoder

الدافع للتنفيذ

بدءًا من الحالات ، تعمل خلفات طوفية MB على تحسين سرعة التوليف باستخدام التقنيات أدناه:

1. استراتيجية توليد متوازية متعددة النطاق من خلال تحلل إشارات الكلام إلى إشارات الفرقة الفرعية
2. عملية توليد الموجة القائمة على ISTFT
   

استنادًا إلى هذا الإطار المصمم جيدًا ، يهدف هذا المستودع إلى زيادة تحسين جودة الصوت وسرعة الاستدلال مع AutoVocoder.
يعتمد هذا الريبو على طوابع طوابع MB ، والتعديلات والتحسينات المتوقعة أدناه:

• 1. استبدل وحدة فك ترميز ISTFTNET المستندة إلى وحدة فك ترميز Autovocoder.
  

• 2. في عملية ISTFT ، استخدم مكونات حقيقية/وهمية بدلاً من مكونات الطور/الحجم لبناء طيف معقد. أضف فقدان إعادة بناء المجال الزمني.

• 3. مراجعة المشفر الخلفي لقبول 4 مكونات معقدة بدلاً من الطيف الخطي.
  

• نظرًا لطبيعة الحالات التي نماذج لاتية قوية ، يمكن أن يكون Autovocoder تطبيقًا مناسبًا بسبب بنية Autoencoder الخاصة به. كما أن لديها سرعة استنتاج سريعة عن طريق توليد شكل موجة مباشرة مع (1024, 256, 1024) حجم FFT/HOP/WIN دون وحدات UPSMPLING. (سيتم الحفاظ على Startegy متعدد النطاق)
• كانت نماذج TTS التقليدية بما في ذلك VITS ، ومعلومات طور النمذجة تمامًا دور وحدة فك الترميز (Vocoder). في Mod 3. ، من خلال توفير معلومات الطور إلى Latouts ، نختبر ما إذا كان يمكن لـ PRICE تقريب هذه اللاتينية بشكل موثوق.

Disclaimer : This repo is built for testing purpose. Performance is not guaranteed. Welcome your contributions.

ملحوظة

• لمقارنة سهلة ، لم نغير بنية المشفر الخلفي بالكامل. بدلاً من ذلك ، استخدمنا فقط إيلاء المجموعة في الجزء الأمامي لمعالجة المدخلات المنقحة (4 مكونات معقدة).
• في التيار ، يحاول هذا الريبو تنفيذ النموذج القائم على طوائف الخوف من طوابع الخدمات MB. قد يكون الطلب على Mini ، MS ، W/O MB عملًا مستقبليًا.

Explanation (من MB-طوائف الطيران)

0. خط الأساس: MB-STFT-Vits

1. المتطلبات المسبقة

0. بيثون> = 3.6
1. استنساخ هذا المستودع
2. تثبيت متطلبات بيثون. يرجى إحالة المتطلبات. txt
   1. قد تحتاج إلى تثبيت espeak أولاً: apt-get install espeak
3. قم بتنزيل مجموعات البيانات
   1. قم بتنزيل واستخراج مجموعة بيانات الكلام LJ ، ثم إعادة تسمية أو إنشاء رابط إلى مجلد DataSet: ln -s /path/to/LJSpeech-1.1/wavs DUMMY1
4. قم ببناء البحث في محاذاة رتيب وتشغيل المعالجة المسبقة إذا كنت تستخدم مجموعات البيانات الخاصة بك.

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
mkdir monotonic_align
python setup.py build_ext --inplace

2. التدريب

في حالة التدريب على طوفية MB ، قم بتشغيل البرنامج النصي التالي

python train_latest.py -c configs/ljs_mb_istft_vits.json -m ljs_mb_istft_vits

بعد التدريب ، يمكنك التحقق من صوت الاستدلال باستخدام Interference.ipynb

مراجع

• طوفية MB: الورق / الكود
• Autovocoder: Paper / Code (غير رسمي)