BERT MB iSTFT VITS

Bert-mb-idft-vits

• Idioma apoiado: coreano, japonês, chinês, inglês, francês, espanhol

Índice

• Pré -requisitos
• Instalação
• Criar transcrição
• Processo
• Treinamento
• Inferência
• Pendência
• Referências

Pré -requisitos

• Um sistema Windows/Linux com um mínimo de RAM de 16GB .
• Uma GPU com pelo menos 12GB de VRAM.
• Python == 3.8
• Anaconda instalada.
• Pytorch instalado.
• CUDA 11.x instalado.

Comando de instalação pytorch:

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

CUDA 11.7 Instale: https://developer.nvidia.com/cuda-11-7-0-download-archive

---

Instalação

1. Crie um ambiente de Anaconda:

conda create -n vits python=3.8

2. Ative o ambiente:

conda activate vits

3. Clone este repositório para sua máquina local:

git clone https://github.com/project-elnino/BERT-MB-iSTFT-VITS.git

4. Navegue até o diretório clonado:

 cd BERT-MB-iSTFT-VITS

5. Instale as dependências necessárias:

pip install -r requirements.txt

Criar transcrição

 path/to/audio_001.wav |<speaker_name>|<language_code>|<text_001>

• Exemplo

 ../kss2/1/1_0000.wav|KR-default|KR|그는 괜찮은 척하려고 애쓰는 것 같았다.

Processo

python preprocess.py --metadata ./metadata.list --config_path ./configs/config.json

Se o seu arquivo de fala não for Mono / PCM-16 , você deve respleminar seu arquivo .wav primeiro.

Definindo o arquivo JSON nas configurações

Modelo	Como configurar o arquivo JSON nas configurações	Amostra de configuração de arquivo JSON
istft-vits	"istft_vits": true, "upsample_rates": [8,8],	ljs_istft_vits.json
MB-ISTFT-VITS	"subbands": 4, "mb_istft_vits": true, "upsample_rates": [4,4],	ljs_mb_istft_vits.json
Ms-istft-vits	"subbands": 4, "ms_istft_vits": true, "upsample_rates": [4,4],	ljs_ms_istft_vits.json

• Se você fez pré -processamento, defina "limpeza_text" como true.
• Alterar training_files e validation_files para o caminho dos arquivos de manifesto pré -processados.

Treinamento

python train.py -c < config > -m < folder >

Retomar o treinamento do Lastest Checkpoint é automático.

Inferência

Verifique inference.py

python inference.py -m ./models/kss/G_64000.pth

Inferência do servidor

python inference_server.py -m ./models/kss/G_64000.pth

Inferência

curl -X POST -H " Content-Type: application/json " -d ' {"text": "잠시 통화 괜찮으시면 전화를 끊지 말아주세요."} ' http://localhost:5000/synthesize

Pendência

• Operação TTS coreana confirmada

Referências

• Masayakawamura/mb-idft-vits
• Myshell-AI/Melotts