BERT MB iSTFT VITS

bert-mb-astft-vits

• 支持语言：韩国，日语，中文，英语，法语，西班牙语

目录

• 先决条件
• 安装
• 创建成绩单
• 预处理
• 训练
• 推理
• 待办事项
• 参考

先决条件

• Windows/Linux系统至少为16GB RAM。
• 具有至少12GB VRAM的GPU。
• python == 3.8
• 安装了Anaconda。
• 安装了Pytorch。
• CUDA 11.X安装。

pytorch安装命令：

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

CUDA 11.7安装： https://developer.nvidia.com/cuda-11-7-0-download-archive

---

安装

1. 创建一个Anaconda环境：

conda create -n vits python=3.8

2. 激活环境：

conda activate vits

3. 克隆此存储库到您的本地机器：

git clone https://github.com/project-elnino/BERT-MB-iSTFT-VITS.git

4. 导航到克隆目录：

 cd BERT-MB-iSTFT-VITS

5. 安装必要的依赖项：

pip install -r requirements.txt

创建成绩单

 path/to/audio_001.wav |<speaker_name>|<language_code>|<text_001>

• 例子

 ../kss2/1/1_0000.wav|KR-default|KR|그는 괜찮은 척하려고 애쓰는 것 같았다.

预处理

python preprocess.py --metadata ./metadata.list --config_path ./configs/config.json

如果您的语音文件不是Mono / PCM-16 ，则首先应该重新示例.wav文件。

在配置中设置JSON文件

模型	如何在配置中设置JSON文件	JSON文件配置的样本
ISTFT-VITS	"istft_vits": true, "upsample_rates": [8,8],	ljs_istft_vits.json
MB istft-Vits	"subbands": 4, "mb_istft_vits": true, "upsample_rates": [4,4],	ljs_mb_istft_vits.json
MS-ISTFT-VITS	"subbands": 4, "ms_istft_vits": true, "upsample_rates": [4,4],	ljs_ms_istft_vits.json

• 如果您已经完成了预处理，请将“ cleaned_text”设置为true。
• 将training_files和validation_files更改为预处理清单文件的路径。

训练

python train.py -c < config > -m < folder >

LAST检查点的简历培训是自动的。

推理

检查推理

python inference.py -m ./models/kss/G_64000.pth

服务器推理

python inference_server.py -m ./models/kss/G_64000.pth

推断

curl -X POST -H " Content-Type: application/json " -d ' {"text": "잠시 통화 괜찮으시면 전화를 끊지 말아주세요."} ' http://localhost:5000/synthesize

待办事项

• 韩国TTS操作确认

参考

• Masayakawamura/mb-istft-vits
• myshell-ai/melotts