PolyLangVITS

• Polylangvits

Sistema multilíngue de síntese de fala usando VITs

Índice

• Pré -requisitos
• Instalação
• Prepare_datasets
• Uso
• Inferência
• Referências

Pré -requisitos

• Um sistema Windows/Linux com um mínimo de RAM de 16GB .
• Uma GPU com pelo menos 12GB de VRAM.
• Python == 3.8
• Anaconda instalada.
• Pytorch instalado.
• CUDA 11.x instalado.
• Zlib DLL instalado.

Comando de instalação pytorch:

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

CUDA 11.7 Instale: https://developer.nvidia.com/cuda-11-7-0-download-archive

ZLIB DLL Instalação: https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#install-zlib-windows

Instale o pyopenjtalk manualmente: pip install -U pyopenjtalk --no-build-isolation

Se este comando não instalar, instale a seguinte biblioteca antes de proceder: cmake Cython

---

Instalação

1. Crie um ambiente de Anaconda:

conda create -n polylangvits python=3.8

2. Ative o ambiente:

conda activate polylangvits

3. Clone este repositório para sua máquina local:

git clone https://github.com/ORI-Muchim/PolyLangVITS.git

4. Navegue até o diretório clonado:

 cd PolyLangVITS

5. Instale as dependências necessárias:

pip install -r requirements.txt

---

Prepare_datasets

Coloque os arquivos de áudio da seguinte forma.

Os arquivos .mp3 ou .wav estão bem.

Você deve escrever '[código do idioma]' na parte traseira da pasta do alto -falante.

 PolyLangVITS
├────datasets
│       ├───speaker0[KO]
│       │   ├────1.mp3
│       │   └────1.wav
│       └───speaker1[JA]
│       │    ├───1.mp3
│       │    └───1.wav
│       ├───speaker2[EN]
│       │   ├────1.mp3
│       │   └────1.wav
│       ├───speaker3[ZH]
│       │   ├────1.mp3
│       │   └────1.wav
│       ├integral.py
│       └integral_low.py
│
├────vits
├────get_pretrained_model.py
├────inference.py
├────main_low.py
├────main_resume.py
├────main.py
├────Readme.md
└────requirements.txt

Este é apenas um exemplo, e não há problema em adicionar mais alto -falantes.

---

Uso

Para iniciar esta ferramenta, use o seguinte comando, substituindo {idioma}, {model_name} e {sample_rate} pelos seus respectivos valores:

python main.py {language} {model_name} {sample_rate}

Para aqueles com baixas especificações (VRAM <12 GB), use este código:

python main_low.py {language} {model_name} {sample_rate}

Se a configuração de dados estiver concluída e você quiser retomar o treinamento, insira este código:

python main_resume.py {model_name}

---

Inferência

Depois que o modelo foi treinado, você pode gerar previsões usando o seguinte comando, substituindo {Model_name} e {Model_Step} pelos seus respectivos valores:

python inference.py {model_name} {model_step}

Para obter o texto da inferência da fala, use o seguinte:

python inference-stt.py {model_name} {model_step}

Além disso, você pode passar manualmente no texto sem editar o código por:

python inference-stt.py {model_name} {model_step} {text}

---

Referências

Para mais informações, consulte os seguintes repositórios:

• JAYWALNUT310/VITS
• Cjangcjengh/vits
• Kyubyong/G2PK
• Tenebo/G2pk2
• Henrymass/Audioslicer