XphoneBert_Vits2

تم تمديد Vits2 مع Encoder XphoneBert

الاعتمادات

• هذا الريبو بناءً على العمل الرائع لـ Vits2 Repo و XphoneBert.

المتطلبات الأساسية

1. بيثون> = 3.10
2. تم اختباره على إصدار Pytorch 1.13.1 مع Google Colab و Lambdalabs Cloud.
3. استنساخ هذا المستودع
4. تثبيت متطلبات بيثون. يرجى إحالة المتطلبات. txt
5. قم بتنزيل مجموعات البيانات
   1. قم بتنزيل واستخراج مجموعة بيانات الكلام LJ ، ثم إعادة تسمية أو إنشاء رابط إلى مجلد DataSet: ln -s /path/to/LJSpeech-1.1/wavs DUMMY
   2. ملاحظة: لا يدعم هذا الريبو التدريب على مجموعة بيانات متعددة المتحدثين
6. انقل/انسخ ملفات التدريب والتحقق من الصحة والتحقق من صحة إلى دليل FileLists ، ثم قم بتشغيل ملف preprocess.py (على غرار تشغيل مجموعة بيانات LJSpeech) ، على سبيل المثال: على سبيل المثال:

   • يرجى الرجوع إلى XphoneBert لمزيد من المعلومات. يستخدمون text2phonemesequence لتحويل النص الخام إلى تسلسل phoneme.

   • تهيئة text2phonemesequence لكل لغة يتطلب رمز ISO 639-3 المقابل. تتوفر رموز ISO 639-3 للغات المدعومة هنا.

   • text2phonemesequence يأخذ تسلسلًا مكونًا من الكلمات كمدخل. وقد يقوم المستخدمون أيضًا بإجراء تطبيع النص على تسلسل تجزئة الكلمات قبل التغذية في text2phonemesequence .

• ملاحظة: بالنسبة للغات مثل اللغة الصينية والكورية واليابانية (اللغات CJK) وبعض لغات جنوب شرق آسيا ، لا يتم فصل الكلمات عن طريق المسافات. يجب استخدام المميزات الخارجية قبل تغذية الكلمات في هذا النموذج. في هذه الحالة ، اكتب برنامج نصي لتطبيع وإدخال إدخالك قبل التغذية إلى text2phonemesequence (vie_preprocess.py في حالتي)

   # In Case languages, words are not separated by spaces such as Vietnamese.
  python vie_preprocess.py --out_extension cleaned --filelists filelists/train.txt filelists/val.txt
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language vie-n --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language vie-n --batch_size 64 --cuda
  
  # In Case languages English.
  python preprocess.py --input_file filelists/train.txt.cleaned --output_file filelists/train.list --language eng-us --batch_size 64 --cuda
  python preprocess.py --input_file filelists/val.txt.cleaned --output_file filelists/val.list --language eng-us --batch_size 64 --cuda

7. قم ببناء البحث في محاذاة رتيب وتشغيل المعالجة المسبقة إذا كنت تستخدم مجموعات البيانات الخاصة بك.

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
python setup.py build_ext --inplace

مثال التدريب

مزيد من المعلومات حول config راجع configs/config.json

 # LJ Speech
python train.py -c configs/config.json -m ljs_base