vits japros webui

Me centraré en desarrollar Style-Bert-Vits2, así que ya no actualizaré esto: https://github.com/litagin02/style-bert-vits2

Bert-VITS2 Artículo de referencia: https://zenn.dev/litagin/articles/b1ddc1da5ea2b3

Vits-japros-webui

Esta es una webui para Windows que le permite aprender modelos VITs japoneses y le permite sintetizar el habla con acentos. Si solo tiene una síntesis del habla, puede usarla incluso sin una tarjeta gráfica.

? Demostración de síntesis del habla

Síntesis del habla	estudiar

Japros?

• Hay un marco llamado ESPNet que permite un manejo unificado de varias tareas de procesamiento de voz en el aprendizaje automático.
• Los VIT se pueden usar como una forma de aprender TTS en ESPNet.
• Al aprender TTS, ESPNet le permite especificar un método ( G2P ) para convertir el texto de aprendizaje (oraciones japonesas) en secuencias de fonema (G2P), y uno de ellos es pyopenjtalk_prosody , que tiene un símbolo de acento agregado.

En esta situación, estoy tomando un modelo entrenado con G2P en japonés usando pyopenjtalk_prosody y leerlo por conveniencia (una propuesta de Bing-chan).

PyopenJTalk_Prosody también maneja símbolos como acentos, por lo que puede usarlos para controlar los acentos (ハ➚シハ➘シ).

Detalles del símbolo de acento

símbolo	role	ejemplo
[	El acento aumenta desde aquí (imagen de ➚)	Hola →コ[ンニチワ
]	El acento cae de aquí (imagen de ➘)	Kioto →キョ]オト
(Espacio medio ancho)	El poema de acento (de alguna manera un solo pastel)	ソ[レワ ム[ズカシ]イ
、	Pose (respirando). Úselo cuando desee hacer una pose corta.	ハ]イ、ソ[オ オ[モイマ]ス
?	Lo agregaré al final de la pregunta.	キ[ミワ ダ]レ?

¿qué es esto?

Esto es algo que le permite entrenar, cargar y la síntesis de voz de los modelos Vits Japros en un entorno local de Windows.

Aprendiendo

• Con transcripción automática de archivos de audio que usan más rápido
• El aprendizaje en sí se modifica para ejecutarse en Windows, lo que permite que los VITS Japros se aprendan con operaciones mínimas.

Sobre la síntesis del habla

• Un control de acento algo intuitivo (probablemente) con katakana y símbolos
• Velocidad del habla simple, tono y función de ajuste de entonación (de Pyworld)
• También funciona en la CPU (se puede iniciar por separado durante el aprendizaje y verificar)
• Incluso si no es un modelo creado con esto, si se trata de un modelo que es pyopenjtalk_prosody en VITS con ESPNet, debería funcionar si se incluye con config.yaml

Cómo usar

instalar

He confirmado que funciona en RTX 4070 en Windows 11 con Python 3.10.

1. Primero, clone este repositorio.

git clone https://github.com/litagin02/vits-japros-webui.git

2. Haga doble clic en setup.bat Bat adentro y espere un momento. Cuando Setup complete. Aparece, has terminado.

Cómo usar

• Aprendizaje: haga doble clic webui_train.bat
• Síntesis de discurso: Ver a continuación para colocar el archivo pth y luego hacer doble clic webui_infer.bat
• ACTUALIZACIÓN: Haga doble clic en update.bat

Para obtener más información y si no necesita una webui, haga clic aquí.

Coloque un modelo para la síntesis del habla

Para los modelos, cree un subdirectorio en el directorio weights y coloque el archivo {数字}epoch.pth adentro. Si está utilizando un modelo externo (solo compatible con modelos creados con pyopenjtalk_prosody en VITS con ESPNET), también incluya config.yaml al estudiar.

 weights
├── model1
│    └── 100epoch.pth
|── model2
│    ├── 50epoch.pth
│    └── config.yaml
...

crédito

• ESPNET: este repositorio utiliza el módulo ESPNet Python original para ejecutarse en Windows (solo hay modificaciones en ubicaciones de creación de enlaces de os.uname y simbólicos).