vits japros webui

Ich werde mich auf die Entwicklung von Style -bert-Vits2 konzentrieren, also werde ich dies nicht mehr aktualisieren: https://github.com/litagin02/style-tbert-vits2

Bert-Vits2 Referenzartikel: https://zenn.dev/litagin/articles/b1ddc1da5ea2b3

Vits-Japros-Webui

Dies ist ein Webui für Windows, mit dem Sie japanische Vits -Modelle lernen und die Sprache mit Akzenten synthetisieren können. Wenn Sie nur eine Sprachsynthese haben, können Sie sie auch ohne Grafikkarte verwenden.

? Sprachsynthese Demo

Sprachsynthese	Studie

Japros?

• Es gibt ein Framework namens ESPNET, das eine einheitliche Behandlung verschiedener Sprachverarbeitungsaufgaben im maschinellen Lernen ermöglicht.
• Vits können verwendet werden, um TTs auf ESPNET zu lernen.
• Mit ESPNET können Sie beim Erlernen von TTs eine Methode ( G2P ) zum Konvertieren von Lerntext (japanische Sätze) in Phonem -Sequenzen (G2P) angeben, und einer davon ist pyopenjtalk_prosody , das ein Akzentsymbol hinzugefügt hat.

In dieser Situation nehme ich ein Modell, das mit G2P in Japanisch trainiert wurde, mit pyopenjtalk_prosody und lese es aus Gründen der Bequemlichkeit (ein Vorschlag von Bing-chan).

Pyopenjtalk_Prosody behandelt auch Symbole wie Akzente, sodass Sie sie verwenden können, um Akzente (ハ➚シハ➘シ) zu steuern.

Akzentsymboldetails

Symbol	Rolle	Beispiel
[	Der Akzent steigt von hier aus (Bild von ➚)	Hallo →コ[ンニチワ
]	Der Akzent fällt von hier (Bild von ➘)	Kyoto →キョ]オト
(Halbbreite Raum)	Der Schnitt im Akzentgedicht (irgendwie ein einzelnes Stück Kuchen)	ソ[レワ ム[ズカシ]イ
、	Posieren (Luft einnehmen). Verwenden Sie es, wenn Sie eine kurze Pose machen möchten.	ハ]イ、ソ[オ オ[モイマ]ス
?	Ich werde es zum Ende der Frage hinzufügen.	キ[ミワ ダ]レ?

was ist das?

Dies ermöglicht es Ihnen, die Synthese von Vits -Japros -Modellen in einer lokalen Windows -Umgebung zu trainieren und zu sprechen.

Lernen

• Mit automatischer Transkription von Audiodateien mit schnellerem Whisper
• Das Lernen selbst wird so geändert, dass es unter Windows ausgeführt wird, sodass Vits -Japros mit minimalen Operationen gelernt werden können.

Über Sprachsynthese

• Eine etwas intuitive Akzentkontrolle (wahrscheinlich) mit Katakana und Symbolen
• Einfache Sprachgeschwindigkeit, Tonhöhe und Intonationsanpassungsfunktion (von Pyworld)
• Es funktioniert auch auf der CPU (kann beim Lernen separat gestartet werden und überprüft werden)
• Auch wenn es sich nicht um ein Modell handelt, das mit diesem Modell erstellt wurde. Wenn es sich um ein Modell handelt, das in Vits mit ESPNET pyopenjtalk_prosody ist, sollte es funktionieren, wenn es in config.yaml enthalten ist

Wie man benutzt

installieren

Ich habe bestätigt, dass es mit Python 3.10 auf RTX 4070 unter Windows 11 funktioniert.

1. Klonen Sie zuerst dieses Repository.

git clone https://github.com/litagin02/vits-japros-webui.git

2. Doppelklicken Sie auf setup.bat im Inneren und warten Sie einen Moment. Nach Setup complete. Erscheint, Sie sind fertig.

Wie man benutzt

• Lernen: Doppelklicken Sie webui_train.bat
• Sprachsynthese: Sehen Sie sich unten an, um die pth Datei zu platzieren und dann auf webui_infer.bat zu doppelklicken
• Update: Doppelklicken Sie auf update.bat klicken

Für weitere Informationen und wenn Sie kein Webui benötigen, klicken Sie bitte hier.

Platzieren Sie ein Modell für die Sprachsynthese

Erstellen Sie für Modelle ein Unterverzeichnis im weights und platzieren Sie die Datei {数字}epoch.pth in die Datei. Wenn Sie ein externes Modell verwenden (nur kompatibel mit Modellen, die mit Pyopenjtalk_Prosody in Vits mit ESPNET erstellt wurden), geben Sie bitte auch config.yaml beim Studium ein.

 weights
├── model1
│    └── 100epoch.pth
|── model2
│    ├── 50epoch.pth
│    └── config.yaml
...

Kredit

• ESPNET: Dieses Repository verwendet das ursprüngliche ESPNET -Python -Modul, um unter Windows auszuführen (es gibt nur Änderungen an os.uname und symbolischen Link -Erstellungsorten).