BERT MB iSTFT VITS

Bert-mb-otft-vits

• Idioma apoyado: coreano, japonés, chino, inglés, francés, español

Tabla de contenido

• Requisitos previos
• Instalación
• Crear transcripción
• Preproceso
• Capacitación
• Inferencia
• Hacer
• Referencias

Requisitos previos

• Un sistema de Windows/Linux con un mínimo de 16GB de RAM.
• Una GPU con al menos 12GB de VRAM.
• Python == 3.8
• Anaconda instalada.
• Pytorch instalado.
• CUDA 11.X instalado.

Comando de instalación de Pytorch:

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

CUDA 11.7 Instalación: https://developer.nvidia.com/cuda-11-7-0-download-archive

---

Instalación

1. Crea un entorno de Anaconda:

conda create -n vits python=3.8

2. Activar el entorno:

conda activate vits

3. Clone este repositorio a su máquina local:

git clone https://github.com/project-elnino/BERT-MB-iSTFT-VITS.git

4. Navegue al directorio clonado:

 cd BERT-MB-iSTFT-VITS

5. Instale las dependencias necesarias:

pip install -r requirements.txt

Crear transcripción

 path/to/audio_001.wav |<speaker_name>|<language_code>|<text_001>

• Ejemplo

 ../kss2/1/1_0000.wav|KR-default|KR|그는 괜찮은 척하려고 애쓰는 것 같았다.

Preproceso

python preprocess.py --metadata ./metadata.list --config_path ./configs/config.json

Si su archivo de discurso no es Mono / PCM-16 , primero debe volver a muestrear su archivo .wav.

Configuración del archivo JSON en configuraciones

Modelo	Cómo configurar el archivo json en las configuraciones	Muestra de configuración de archivos JSON
istft-vits	"istft_vits": true, "upsample_rates": [8,8],	ljs_istft_vits.json
Vits	"subbands": 4, "mb_istft_vits": true, "upsample_rates": [4,4],	ljs_mb_istft_vits.json
MS-ESTFT-VITS	"subbands": 4, "ms_istft_vits": true, "upsample_rates": [4,4],	ljs_ms_istft_vits.json

• Si ha realizado preprocesamiento, configure "Cleaned_Text" en verdadero.
• Cambie training_files y validation_files a la ruta de los archivos de manifiesto preprocesados.

Capacitación

python train.py -c < config > -m < folder >

El entrenamiento de reanudación desde el último punto de control es automático.

Inferencia

Verifique Inference.py

python inference.py -m ./models/kss/G_64000.pth

Inferencia del servidor

python inference_server.py -m ./models/kss/G_64000.pth

Hacer inferencia

curl -X POST -H " Content-Type: application/json " -d ' {"text": "잠시 통화 괜찮으시면 전화를 끊지 말아주세요."} ' http://localhost:5000/synthesize

Hacer

• Operación TTS coreana confirmada

Referencias

• Masayakawamura/MB-ESTFT-VITS
• myshell-ai/melotts