vits japros webui

Je vais me concentrer sur le développement de style-bert-vits2, donc je ne mettrai plus cela à jour: https://github.com/litagin02/style-bert-vits2

Bert-Vits2 Article de référence: https://zenn.dev/litagin/articles/b1ddc1da5ea2b3

Vits-japros-webui

Il s'agit d'un webui pour Windows qui vous permet d'apprendre des modèles de vites japonais et vous permet de synthétiser la parole avec des accents. Si vous n'avez qu'une synthèse de la parole, vous pouvez l'utiliser même sans carte graphique.

? Démo de synthèse de la parole

Synthèse de la parole	étude

Japros?

• Il existe un cadre appelé ESPNET qui permet une gestion unifiée de diverses tâches de traitement vocal dans l'apprentissage automatique.
• Les VITS peuvent être utilisés comme un moyen d'apprendre TTS sur ESPNET.
• Lors de l'apprentissage TTS, ESPNET vous permet de spécifier une méthode ( G2P ) pour convertir le texte d'apprentissage (phrases japonaises) en séquences de phonèmes (G2P), et l'une d'elles est pyopenjtalk_prosody , qui a un symbole d'accent ajouté.

Dans cette situation, je prends un modèle formé avec G2P en japonais en utilisant pyopenjtalk_prosody et le lisant pour plus de commodité (une proposition de Bing-chan).

pyopenjtalk_prosody gère également des symboles tels que des accents, vous pouvez donc les utiliser pour contrôler les accents (ハ➚シハ➘シ).

Détails du symbole d'accent

symbole	rôle	exemple
[	L'accent monte d'ici (image de ➚)	Bonjour →コ[ンニチワ
]	L'accent tombe d'ici (image de ➘)	Kyoto →キョ]オト
(Espace demi-largeur)	La coupe en poème d'accent (en quelque sorte un seul morceau de gâteau)	ソ[レワ ム[ズカシ]イ
、	Poser (prendre une respiration). Utilisez-le lorsque vous souhaitez faire une courte pose.	ハ]イ、ソ[オ オ[モイマ]ス
?	Je vais l'ajouter à la fin de la question.	キ[ミワ ダ]レ?

qu'est-ce que c'est?

C'est quelque chose qui vous permet de vous entraîner, de charger et de la synthèse de la parole de modèles Japros dans un environnement Windows local.

Apprentissage

• Avec transcription automatique à partir de fichiers audio en utilisant plus rapide
• L'apprentissage lui-même est modifié pour s'exécuter sous Windows, permettant à des vites Japros d'être apprises avec un minimum d'opérations.

Sur la synthèse de la parole

• Un contrôle accent quelque peu intuitif (probablement) avec le katakana et les symboles
• Fonction de réglage de la vitesse de la parole simple, de la hauteur et de l'intonation (de pyworld)
• Il fonctionne également sur le CPU (peut être démarré séparément pendant l'apprentissage et vérifié)
• Même si ce n'est pas un modèle créé en utilisant cela, s'il s'agit d'un modèle qui est pyopenjtalk_prosody dans des vites avec ESPNET, cela devrait fonctionner s'il est inclus avec config.yaml

Comment utiliser

installer

J'ai confirmé que cela fonctionne sur RTX 4070 sur Windows 11 avec Python 3.10.

1. Tout d'abord, clonez ce référentiel.

git clone https://github.com/litagin02/vits-japros-webui.git

2. Double-cliquez sur setup.bat à l'intérieur et attendez un instant. Une fois Setup complete. apparaît, vous avez terminé.

Comment utiliser

• Apprentissage: double cliquer webui_train.bat
• Synthèse de la parole: Voir ci-dessous pour placer le fichier pth , puis double-cliquez sur webui_infer.bat
• MISE À JOUR: Double Click update.bat

Pour plus d'informations et si vous n'avez pas besoin d'un webui, veuillez cliquer ici.

Placer un modèle de synthèse de la parole

Pour les modèles, créez un sous-répertoire dans le répertoire weights et placez le fichier {数字}epoch.pth à l'intérieur. Si vous utilisez un modèle externe (uniquement compatible avec les modèles créés avec pyopenjtalk_prosody dans VITS avec ESPNET), veuillez également inclure config.yaml lors de l'étude.

 weights
├── model1
│    └── 100epoch.pth
|── model2
│    ├── 50epoch.pth
│    └── config.yaml
...

crédit

• ESPNET: Ce référentiel utilise le module ESPNET Python d'origine pour s'exécuter sur Windows (il n'y a que des modifications pour os.uname et les emplacements de création de liens symboliques).