PolyLangVITS

• Polylangvits

Système de synthèse de la parole multilingue à l'aide de vites

Table des matières

• Condition préalable
• Installation
• Préparent_datasets
• Usage
• Inférence
• Références

Condition préalable

• Un système Windows / Linux avec un minimum de 16GB de RAM.
• Un GPU avec au moins 12GB de VRAM.
• Python == 3,8
• Anaconda installé.
• Pytorch installé.
• CUDA 11.x installé.
• DLL ZLIB installé.

Commande d'installation de Pytorch:

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

CUDA 11.7 Installation: https://developer.nvidia.com/cuda-11-7-0-download-archive

ZLIB DLL Install: https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#install-zlib-windows

Installer Pyopenjtalk manuellement: pip install -U pyopenjtalk --no-build-isolation

Si cette commande ne s'installe pas, veuillez installer la bibliothèque suivante avant de continuer: cmake Cython

---

Installation

1. Créez un environnement Anaconda:

conda create -n polylangvits python=3.8

2. Activez l'environnement:

conda activate polylangvits

3. Clone ce référentiel à votre machine locale:

git clone https://github.com/ORI-Muchim/PolyLangVITS.git

4. Accédez au répertoire cloné:

 cd PolyLangVITS

5. Installez les dépendances nécessaires:

pip install -r requirements.txt

---

Préparent_datasets

Placez les fichiers audio comme suit.

Les fichiers .mp3 ou .wav sont corrects.

Vous devez écrire '[code linguistique]' au dos du dossier de haut-parleur.

 PolyLangVITS
├────datasets
│       ├───speaker0[KO]
│       │   ├────1.mp3
│       │   └────1.wav
│       └───speaker1[JA]
│       │    ├───1.mp3
│       │    └───1.wav
│       ├───speaker2[EN]
│       │   ├────1.mp3
│       │   └────1.wav
│       ├───speaker3[ZH]
│       │   ├────1.mp3
│       │   └────1.wav
│       ├integral.py
│       └integral_low.py
│
├────vits
├────get_pretrained_model.py
├────inference.py
├────main_low.py
├────main_resume.py
├────main.py
├────Readme.md
└────requirements.txt

Ce n'est qu'un exemple, et il est normal d'ajouter plus de haut-parleurs.

---

Usage

Pour démarrer cet outil, utilisez la commande suivante, en remplaçant {Language}, {Model_name} et {Sample_Rate} par vos valeurs respectives:

python main.py {language} {model_name} {sample_rate}

Pour ceux qui ont de faibles spécifications (VRAM <12 Go), veuillez utiliser ce code:

python main_low.py {language} {model_name} {sample_rate}

Si la configuration des données est terminée et que vous souhaitez reprendre la formation, entrez ce code:

python main_resume.py {model_name}

---

Inférence

Une fois le modèle formé, vous pouvez générer des prédictions en utilisant la commande suivante, en remplaçant {Model_name} et {Model_step} par vos valeurs respectives:

python inference.py {model_name} {model_step}

Pour l'inférence du texte à la parole, utilisez ce qui suit:

python inference-stt.py {model_name} {model_step}

En outre, vous pouvez passer manuellement le texte sans modifier le code par:

python inference-stt.py {model_name} {model_step} {text}

---

Références

Pour plus d'informations, veuillez vous référer aux référentiels suivants:

• Jaywalnut310 / VITS
• Cjangcjengh / VITS
• Kyubyong / g2pk
• ténebo / g2pk2
• Henrymass / Audioslicer