megatts2

megatts2

Implementación no oficial de Megatts2

HACER

Prueba base

• Preparar el conjunto de datos
• Vq-gan
• Admir
• Por favor

Mejor versión

• Reemplace Hifigan con BigVgan
• Mezclar entrenamiento chino e inglés
• Entrenar en aproximadamente 1k horas de discurso
• Webui

Instalar MFA

1. conda create -n aligner && conda activar aligner
2. Conda install -c conda-forge Montreal-forced-aligner = 2.2.17

Preparar el conjunto de datos

1. Prepare archivos WAV y TXT para ./data/wav
2. Ejecutar python3 prepare_ds.py --stage 0 --num_workers 4 --wavtxt_path data/wavs --text_grid_path data/textgrids --ds_path data/ds
3. Modelo MFA Descargar Acoustic Mandarin_MFA
4. MFA alinee datos/wavs utils/mandarin_pinyin_to_mfa_lty.dict data de mandarin_mfa/textGrids --clean -j 12 -t/workspace/tmp
5. Ejecutar python3 prepare_ds.py --stage 1 --num_workers 4 --wavtxt_path data/wavs --text_grid_path data/textgrids --ds_path data/ds
6. Ejecute python3 prepare_ds.py --stage 2 --generator_config configs/config_gan.yaml --generator_ckpt generator.ckpt después del generador de entrenamiento.

Tren

El procedimiento de capacitación se refiere a Pytorch-Lightning

Inferir prueba

python infer.py

Citando

 @misc { 2307.07218 ,
Author = { Ziyue Jiang and Jinglin Liu and Yi Ren and Jinzheng He and Chen Zhang and Zhenhui Ye and Pengfei Wei and Chunfeng Wang and Xiang Yin and Zejun Ma and Zhou Zhao } ,
Title = { Mega-TTS 2: Zero-Shot Text-to-Speech with Arbitrary Length Speech Prompts } ,
Year = { 2023 } ,
Eprint = { arXiv:2307.07218 } ,
}

Licencia

• MIT
• Soporte de Simon de Zideai