BERT MB iSTFT VITS

Bert-MB-STFT-its

• اللغة المدعومة: الكورية واليابانية والصينية والإنجليزية والفرنسية والإسبانية

جدول المحتويات

• المتطلبات الأساسية
• تثبيت
• إنشاء نسخة
• المعالجة المسبقة
• تمرين
• الاستدلال
• المهام
• مراجع

المتطلبات الأساسية

• نظام Windows/Linux مع ذاكرة الوصول العشوائي على الأقل 16GB .
• وحدة معالجة الرسومات مع ما لا يقل عن 12GB من VRAM.
• بيثون == 3.8
• أناكوندا مثبتة.
• Pytorch مثبتة.
• CUDA 11.x مثبت.

أمر تثبيت Pytorch:

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

CUDA 11.7 تثبيت: https://developer.nvidia.com/cuda-11-7-0-download-archive

---

تثبيت

1. إنشاء بيئة أناكوندا:

conda create -n vits python=3.8

2. تنشيط البيئة:

conda activate vits

3. استنساخ هذا المستودع إلى جهازك المحلي:

git clone https://github.com/project-elnino/BERT-MB-iSTFT-VITS.git

4. انتقل إلى الدليل المستنسخ:

 cd BERT-MB-iSTFT-VITS

5. تثبيت التبعيات اللازمة:

pip install -r requirements.txt

إنشاء نسخة

 path/to/audio_001.wav |<speaker_name>|<language_code>|<text_001>

• مثال

 ../kss2/1/1_0000.wav|KR-default|KR|그는 괜찮은 척하려고 애쓰는 것 같았다.

المعالجة المسبقة

python preprocess.py --metadata ./metadata.list --config_path ./configs/config.json

إذا كان ملف الكلام الخاص بك ليس Mono / PCM-16 ، فيجب عليك إعادة نموذج ملف .wav أولاً.

تعيين ملف JSON في التكوينات

نموذج	كيفية إعداد ملف JSON في التكوينات	عينة من تكوين ملف JSON
ISTFT	"istft_vits": true, "upsample_rates": [8,8],	ljs_istft_vits.json
MB-طووف الطيران	"subbands": 4, "mb_istft_vits": true, "upsample_rates": [4,4],	ljs_mb_istft_vits.json
MS-LTFT-its	"subbands": 4, "ms_istft_vits": true, "upsample_rates": [4,4],	LJS_MS_ISTFT_VITS.JSON

• إذا كنت قد قمت بالمعالجة المسبقة ، فقم بتعيين "cleaned_text" إلى True.
• قم بتغيير training_files و validation_files إلى مسار ملفات البيان المعالجة مسبقًا.

تمرين

python train.py -c < config > -m < folder >

استئناف التدريب من آخر نقطة تفتيش هو تلقائي.

الاستدلال

تحقق من الاستفادة

python inference.py -m ./models/kss/G_64000.pth

استنتاج الخادم

python inference_server.py -m ./models/kss/G_64000.pth

هل الاستدلال

curl -X POST -H " Content-Type: application/json " -d ' {"text": "잠시 통화 괜찮으시면 전화를 끊지 말아주세요."} ' http://localhost:5000/synthesize

المهام

• أكدت عملية TTS الكورية

مراجع

• Masayakawamura/MB-STFT-Vits
• myshell-ai/melotts