megatts2

Megatts2

Megatts2の非公式実装

トト

ベーステスト

• データセットを準備します
• VQ-Gan
• アドバン
• PLM

より良いバージョン

• HifiganをBigvganに置き換えます
• 中国語と英語のトレーニングを混ぜます
• 約1k時間の音声でトレーニングします
• webui

MFAをインストールします

1. conda create -n aligner && conda activate aligner
2. Conda Install -C Conda-Forge Montreal-Frced-Aligner = 2.2.17

データセットを準備します

1. WAVおよびTXTファイルを./Data/WAVに準備します
2. python3 prepare_ds.py --stage 0 --num_workers 4 --wavtxt_path data/wavs --text_grid_path data/textgrids --ds_path data/ds
3. MFAモデルダウンロードアコースティックマンダリン_MFA
4. MFA Align Data/Wavs Utils/Mandarin_pinyin_to_mfa_lty.dict mandarin_mfa data/textgrids -clean -j 12 -t/workspace/tmp
5. python3 prepare_ds.py --stage 1 --num_workers 4 --wavtxt_path data/wavs --text_grid_path data/textgrids --ds_path data/ds
6. python3 prepare_ds.py --stage 2 --generator_config configs/config_gan.yaml --generator_ckpt generator.ckptトレーニングした後の実行。

電車

トレーニング手順とは、Pytorch-Lightningを指します

テストを推測します

python infer.py

引用

 @misc { 2307.07218 ,
Author = { Ziyue Jiang and Jinglin Liu and Yi Ren and Jinzheng He and Chen Zhang and Zhenhui Ye and Pengfei Wei and Chunfeng Wang and Xiang Yin and Zejun Ma and Zhou Zhao } ,
Title = { Mega-TTS 2: Zero-Shot Text-to-Speech with Arbitrary Length Speech Prompts } ,
Year = { 2023 } ,
Eprint = { arXiv:2307.07218 } ,
}

ライセンス

• mit
• ジデアイのサイモンによるサポート