BERT MB iSTFT VITS

Bert-Mb-Istft-Vits

• Langue soutenue: coréen, japonais, chinois, anglais, français, espagnol

Table des matières

• Condition préalable
• Installation
• Créer une transcription
• Prétraitement
• Entraînement
• Inférence
• Faire
• Références

Condition préalable

• Un système Windows / Linux avec un minimum de 16GB de RAM.
• Un GPU avec au moins 12GB de VRAM.
• Python == 3,8
• Anaconda installé.
• Pytorch installé.
• CUDA 11.x installé.

Commande d'installation de Pytorch:

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

CUDA 11.7 Installation: https://developer.nvidia.com/cuda-11-7-0-download-archive

---

Installation

1. Créez un environnement Anaconda:

conda create -n vits python=3.8

2. Activez l'environnement:

conda activate vits

3. Clone ce référentiel à votre machine locale:

git clone https://github.com/project-elnino/BERT-MB-iSTFT-VITS.git

4. Accédez au répertoire cloné:

 cd BERT-MB-iSTFT-VITS

5. Installez les dépendances nécessaires:

pip install -r requirements.txt

Créer une transcription

 path/to/audio_001.wav |<speaker_name>|<language_code>|<text_001>

• Exemple

 ../kss2/1/1_0000.wav|KR-default|KR|그는 괜찮은 척하려고 애쓰는 것 같았다.

Prétraitement

python preprocess.py --metadata ./metadata.list --config_path ./configs/config.json

Si votre fichier vocal n'est pas Mono / PCM-16 , vous devez d'abord rééchantillonner votre fichier .wav.

Définition du fichier JSON dans des configurations

Modèle	Comment configurer le fichier JSON dans les configurations	Exemple de configuration de fichier JSON
istft-vits	"istft_vits": true, "upsample_rates": [8,8],	ljs_istft_vits.json
Mb-Istft-vits	"subbands": 4, "mb_istft_vits": true, "upsample_rates": [4,4],	ljs_mb_istft_vits.json
MS-ISTFT-VITS	"subbands": 4, "ms_istft_vits": true, "upsample_rates": [4,4],	ljs_ms_istft_vits.json

• Si vous avez fait du prétraitement, définissez "Cleaned_text" sur true.
• Changez training_files et validation_files sur le chemin des fichiers manifestes prétraités.

Entraînement

python train.py -c < config > -m < folder >

La formation de curriculum vitae du dernier point de contrôle est automatique.

Inférence

Vérifier Inference.py

python inference.py -m ./models/kss/G_64000.pth

Inférence du serveur

python inference_server.py -m ./models/kss/G_64000.pth

Faire une inférence

curl -X POST -H " Content-Type: application/json " -d ' {"text": "잠시 통화 괜찮으시면 전화를 끊지 말아주세요."} ' http://localhost:5000/synthesize

Faire

• Opération TTS coréenne confirmée

Références

• Masayakawamura / mb-istft-vits
• Myshell-ai / Melotts