vits japros webui

Vou me concentrar no desenvolvimento de estilo-bert-vits2, então não vou mais atualizar: https://github.com/litagin02/style-bert-vits2

BERT-VITS2 Artigo de referência: https://zenn.dev/litagin/articles/b1ddc1da5ea2b3

Vits-Japros-Webui

Este é um webui para Windows que permite aprender modelos de Vits japoneses e permite sintetizar a fala com sotaques. Se você tiver apenas uma síntese de fala, poderá usá -la mesmo sem uma placa gráfica.

? Demoção de síntese de fala

Síntese de fala	estudar

Japros?

• Existe uma estrutura chamada ESPNET que permite um manuseio unificado de várias tarefas de processamento de voz no aprendizado de máquina.
• Os VITs podem ser usados ​​como uma maneira de aprender TTS no ESPNET.
• Ao aprender TTS, a ESPNET permite especificar um método ( G2P ) para converter o texto do aprendizado (frases japonesas) em sequências de fonemas (G2P), e uma delas é pyopenjtalk_prosody , que tem um símbolo de destaque adicionado.

Nesta situação, estou tomando um modelo treinado com G2P em japonês usando pyopenjtalk_prosody e lendo- o por conveniência (uma proposta de Bing-chan).

pyopenjtalk_prosody também lida com símbolos como sotaques, para que você possa usá -los para controlar sotaques (ハ➚シハ➘シ).

Detalhes do símbolo de sotaque

símbolo	papel	exemplo
[	O sotaque sobe daqui (imagem de ➚)	Olá →コ[ンニチワ
]	O sotaque cai daqui (imagem de ➘)	Kyoto →キョ]オト
(Espaço de meia largura)	O corte no poema de sotaque (de alguma forma um único pedaço de bolo)	ソ[レワ ム[ズカシ]イ
、	Pose (respirando). Use -o quando quiser fazer uma pose curta.	ハ]イ、ソ[オ オ[モイマ]ス
?	Vou adicioná -lo ao final da pergunta.	キ[ミワ ダ]レ?

o que é isso?

Isso é algo que permite que você treine, carregue e síntese de fala dos modelos Vits Japros em um ambiente local do Windows.

Aprendizado

• Com transcrição automática de arquivos de áudio usando mais rápido
• O aprendizado em si é modificado para ser executado no Windows, permitindo que os Japros sejam aprendidos com operações mínimas.

Sobre síntese de fala

• Um controle de sotaque um tanto intuitivo (provavelmente) com katakana e símbolos
• Função simples de velocidade de fala, afinação e ajuste de entonação (do pyworld)
• Ele também funciona na CPU (pode ser iniciado separadamente durante o aprendizado e verificado)
• Mesmo que não seja um modelo criado usando isso, se for um modelo que é pyopenjtalk_prosody em vits com o ESPNET, ele deve funcionar se estiver incluído com config.yaml

Como usar

instalar

Confirmei que funciona no RTX 4070 no Windows 11 com o Python 3.10.

1. Primeiro, clone este repositório.

git clone https://github.com/litagin02/vits-japros-webui.git

2. Clique duas vezes em setup.bat por dentro e espere um momento. Quando Setup complete. Aparece, você terminou.

Como usar

• Aprendizagem: clique duas vezes clique em webui_train.bat
• Síntese de fala: Veja abaixo para colocar o arquivo pth e depois clique duas vezes webui_infer.bat
• update.bat : Clique em dupla clique

Para mais informações e se você não precisar de um webui, clique aqui.

Coloque um modelo para a síntese de fala

Para os modelos, crie um subdiretório no diretório weights e coloque o arquivo {数字}epoch.pth dentro. Se você estiver usando um modelo externo (compatível apenas com modelos criados com pyopenjtalk_prosody no vits com o ESPNET), inclua também config.yaml ao estudar.

 weights
├── model1
│    └── 100epoch.pth
|── model2
│    ├── 50epoch.pth
│    └── config.yaml
...

crédito

• ESPNET: Este repositório usa o módulo Python original da ESPNET para ser executado no Windows (existem apenas modificações nos locais de criação de Links os.uname e Link simbólico).