megatts2

megatts2

Implementação não oficial de megatts2

PENDÊNCIA

Teste base

• Prepare o conjunto de dados
• VQ-GAN
• Adm
• Plm

Versão melhor

• Substitua o Hifigan por Bigvgan
• Misture o treinamento em chinês e inglês
• Treine em cerca de 1 mil horas de fala
• Webui

Instale o MFA

1. CONDA CREATE -N ALIGNER && CONDA ATIVATE ALIGNER
2. CONDA Instale -C Conde-Forge Montreal Forced-Aligner = 2.2.17

Prepare o conjunto de dados

1. Prepare arquivos wav e txt para ./data/wav
2. Execute python3 prepare_ds.py --stage 0 --num_workers 4 --wavtxt_path data/wavs --text_grid_path data/textgrids --ds_path data/ds
3. Modelo MFA Download
4. MFA alinhar dados/wavs utils/mandarin_pinyin_to_mfa_lty.dict mandarin_mfa data/textgrids - -limpo -j 12 -t/workspace/tmp
5. Execute python3 prepare_ds.py --stage 1 --num_workers 4 --wavtxt_path data/wavs --text_grid_path data/textgrids --ds_path data/ds
6. Execute python3 prepare_ds.py --stage 2 --generator_config configs/config_gan.yaml --generator_ckpt generator.ckpt após o gerador de treinamento.

Trem

Procedimento de treinamento refere-se à luz pytorch

Inferir teste

python infer.py

Citando

 @misc { 2307.07218 ,
Author = { Ziyue Jiang and Jinglin Liu and Yi Ren and Jinzheng He and Chen Zhang and Zhenhui Ye and Pengfei Wei and Chunfeng Wang and Xiang Yin and Zejun Ma and Zhou Zhao } ,
Title = { Mega-TTS 2: Zero-Shot Text-to-Speech with Arbitrary Length Speech Prompts } ,
Year = { 2023 } ,
Eprint = { arXiv:2307.07218 } ,
}

Licença

• Mit
• Apoio de Simon de Zideai