MSMC TTS

MSMC-TTS：多階段多碼頭TTS TTS

MSMC-TTS論文系統的官方實施

• 多階段的多階段多編碼書VQ-VAE方法用於高性能神經TTS
• 通過學習緊湊的表示，朝著低資源語言的高質量神經TTS邁
• QS-TTS：通過矢量定量的自我監督語音表示學習學習半監督文本到語音綜合學習

最新的MSMC-TTS（MSMC-TTS-V2）使用基於MSMC-VQ-GAN的自動編碼器組合MSMC-VQ-VAE和Hifigan進行了優化。多階段預測變量仍被用作聲學模型，以預測TTS合成的MSMCR。

消息

[2024.04.10]（正在進行中）QS-TTS的實現可在示例/csmsc/configs中獲得

[2022.10.20]我們發布了基於MSMC-VQ-GAN的最新版本的MSMC-TTS（MSMC-TTS-V2）。請參閱我們的最新論文“通過學習緊湊的表示形式，使用低資源語言的高質量神經TTS”

[2022.10.18]我們將在此存儲庫中發布所有版本的MSMC-TTS的代碼。歡迎對這項工作感興趣的任何人加入我們，探索更有用的語音綜合語音表示。

[2022.9.22]“高性能神經TTS的多階段多代碼Book VQ-VAE方法”在Interspeech 2022上發布。

用法

 # Install
pip -r requirements.txt

# Train (Take the example of CSMSC, please refer to the example of CSMSC to prepare your training data)
python train.py -c examples/csmsc/configs/msmc_vq_gan.yaml
python train.py -c examples/csmsc/configs/msmc_vq_gan_am.yaml

# Multi-GPU Training
python train_dist.py -c examples/csmsc/configs/msmc_vq_gan.yaml
python train_dist.py -c examples/csmsc/configs/msmc_vq_gan_am.yaml

# Test -- Analysis-Synthesis
python infer.py -c examples/csmsc/configs/msmc_vq_gan.yaml -m examples/csmsc/checkpoints/msmc_vq_gan/model_800000 -t examples/csmsc/data/test_ae.yaml -o analysis_synthesis

# Test -- TTS-Synthesis
python infer.py -c examples/csmsc/configs/msmc_vq_gan_am.yaml -m examples/csmsc/checkpoints/msmc_vq_gan_am/model_200000 -t examples/csmsc/data/test_tts.yaml -o tts

尖端

幫助您更好地訓練模型！

MSMC-VQ-GAN

1. 要小心您表示的緊湊性。對於單揚聲器標準TTS，您可以嘗試2-4個頭，每個頭部可能具有64-256個代碼字。
2. 如果您的批次尺寸太小，請使用較少的代碼字，否則批次的框架大小不足以支持動態代碼簿更新。
3. 如果您發現MSMC-VQ-GAN中的某些階段一無所知，則可以改變編碼器損失的重量。

多階段預測指標

1. 三胞胎損失可以提高TT的表現力，但也可能降低光滑度。您可以嘗試不同的三重損失權重，例如0、0.01、0.1、1，以找到最平衡的性能。
2. 對於低資源數據集，請使用較小的型號避免過度合併。早期也是一個有用的技巧。

引用

@inproceedings{guo2022msmc,
  title={A Multi-Stage Multi-Codebook VQ-VAE Approach to High-Performance Neural TTS},
  author={Guo, Haohan and Xie, Fenglong and Soong, Frank K and Wu, Xixin and Meng, Helen},
  booktitle={Proc. INTERSPEECH},
  year={2022}
}

承認

1. FastSpeech實現：https：//github.com/nvidia/nemo
2. Hifigan實施：https：//github.com/jik876/hifi-gan
3. Univnet實施：https：//github.com/mindslab-ai/univnet
4. VITS實現：https：//github.com/jaywalnut310/vits