BERT MB iSTFT VITS

bert-mb-istft-vits

• ภาษาที่ได้รับการสนับสนุน: เกาหลีญี่ปุ่น, จีน, อังกฤษ, ฝรั่งเศส, สเปน

สารบัญ

• ข้อกำหนดเบื้องต้น
• การติดตั้ง
• สร้าง transcript
• ประมวลผลล่วงหน้า
• การฝึกอบรม
• การอนุมาน
• สิ่งที่ต้องทำ
• การอ้างอิง

ข้อกำหนดเบื้องต้น

• ระบบ Windows/Linux ที่มี RAM อย่างน้อย 16GB
• GPU ที่มี VRAM อย่างน้อย 12GB
• Python == 3.8
• Anaconda ติดตั้ง
• ติดตั้ง Pytorch
• ติดตั้ง CUDA 11.x

คำสั่งการติดตั้ง Pytorch:

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

CUDA 11.7 ติดตั้ง: https://developer.nvidia.com/cuda-11-7-0-download-archive

---

การติดตั้ง

1. สร้างสภาพแวดล้อม Anaconda:

conda create -n vits python=3.8

2. เปิดใช้งานสภาพแวดล้อม:

conda activate vits

3. โคลนที่เก็บนี้ไปยังเครื่องในพื้นที่ของคุณ:

git clone https://github.com/project-elnino/BERT-MB-iSTFT-VITS.git

4. นำทางไปยังไดเรกทอรีที่ถูกโคลน:

 cd BERT-MB-iSTFT-VITS

5. ติดตั้งการพึ่งพาที่จำเป็น:

pip install -r requirements.txt

สร้าง transcript

 path/to/audio_001.wav |<speaker_name>|<language_code>|<text_001>

• ตัวอย่าง

 ../kss2/1/1_0000.wav|KR-default|KR|그는 괜찮은 척하려고 애쓰는 것 같았다.

ประมวลผลล่วงหน้า

python preprocess.py --metadata ./metadata.list --config_path ./configs/config.json

หากไฟล์คำพูดของคุณไม่ใช่ Mono / PCM-16 คุณควรกลับมาใช้ใหม่ไฟล์. wav ของคุณก่อน

การตั้งค่าไฟล์ JSON ในการกำหนดค่า

แบบอย่าง	วิธีตั้งค่าไฟล์ JSON ในการกำหนดค่า	ตัวอย่างของการกำหนดค่าไฟล์ JSON
istft-vits	"istft_vits": true, "upsample_rates": [8,8],	ljs_istft_vits.json
mb-istft-vits	"subbands": 4, "mb_istft_vits": true, "upsample_rates": [4,4],	ljs_mb_istft_vits.json
ms-istft-vits	"subbands": 4, "ms_istft_vits": true, "upsample_rates": [4,4],	ljs_ms_istft_vits.json

• หากคุณทำการประมวลผลล่วงหน้าให้ตั้งค่า "Cleaned_Text" เป็น TRUE
• เปลี่ยน training_files และ validation_files เป็นพา ธ ของไฟล์รายการที่ผ่านการประมวลผลล่วงหน้า

การฝึกอบรม

python train.py -c < config > -m < folder >

การฝึกอบรมประวัติย่อจากจุดตรวจครั้งสุดท้ายเป็นไปโดยอัตโนมัติ

การอนุมาน

ตรวจสอบอนุมาน.py

python inference.py -m ./models/kss/G_64000.pth

การอนุมานเซิร์ฟเวอร์

python inference_server.py -m ./models/kss/G_64000.pth

อนุมาน

curl -X POST -H " Content-Type: application/json " -d ' {"text": "잠시 통화 괜찮으시면 전화를 끊지 말아주세요."} ' http://localhost:5000/synthesize

สิ่งที่ต้องทำ

• การดำเนินการ TTS เกาหลียืนยัน

การอ้างอิง

• masayakawamura/mb-istft-vits
• myshell-ai/melotts