megatts2

Megatts2

Megatts2的非官方實施2

托多

基礎測試

• 準備數據集
• VQ-GAN
• am
• PLM

更好的版本

• 用Bigvgan替換Hifigan
• 混合培訓中文和英語
• 訓練大約1k小時的演講
• webui

安裝MFA

1. conda create -n對準器&& conda激活對準器
2. conda install -c conda-forge蒙特利爾 - 福利 - 折磨= 2.2.17

準備數據集

1. 將WAV和TXT文件準備為./data/wav
2. 運行python3 prepare_ds.py --stage 0 --num_workers 4 --wavtxt_path data/wavs --text_grid_path data/textgrids --ds_path data/ds
3. MFA型號下載聲學普通話_MFA
4. MFA ALIGN DATA/WAVS UTILS/MANDARIN_PINYIN_TO_MFA_LTY.DICT MANDARIN_MFA DATA/TEXTGRIDS -CLEAN -J 12 -T 12 -T/workspace/tmp
5. 運行python3 prepare_ds.py --stage 1 --num_workers 4 --wavtxt_path data/wavs --text_grid_path data/textgrids --ds_path data/ds
6. 運行python3 prepare_ds.py --stage 2 --generator_config configs/config_gan.yaml --generator_ckpt generator.ckpt訓練生成器後。

火車

培訓程序是指pytorch-lighting

推斷測試

python infer.py

引用

 @misc { 2307.07218 ,
Author = { Ziyue Jiang and Jinglin Liu and Yi Ren and Jinzheng He and Chen Zhang and Zhenhui Ye and Pengfei Wei and Chunfeng Wang and Xiang Yin and Zejun Ma and Zhou Zhao } ,
Title = { Mega-TTS 2: Zero-Shot Text-to-Speech with Arbitrary Length Speech Prompts } ,
Year = { 2023 } ,
Eprint = { arXiv:2307.07218 } ,
}

執照

• 麻省理工學院
• Zideai的Simon的支持