MSMC TTS下载MSMC TTS源代码下载

MSMC TTS

Ai源码

1.0.0

下载

MSMC-TTS：多阶段多码头TTS TTS

MSMC-TTS论文系统的官方实施

多阶段的多阶段多编码书VQ-VAE方法用于高性能神经TTS
通过学习紧凑的表示，朝着低资源语言的高质量神经TTS迈
QS-TTS：通过矢量定量的自我监督语音表示学习学习半监督文本到语音综合学习

最新的MSMC-TTS（MSMC-TTS-V2）使用基于MSMC-VQ-GAN的自动编码器组合MSMC-VQ-VAE和Hifigan进行了优化。多阶段预测变量仍被用作声学模型，以预测TTS合成的MSMCR。

消息

[2024.04.10]（正在进行中）QS-TTS的实现可在示例/csmsc/configs中获得

[2022.10.20]我们发布了基于MSMC-VQ-GAN的最新版本的MSMC-TTS（MSMC-TTS-V2）。请参阅我们的最新论文“通过学习紧凑的表示形式，使用低资源语言的高质量神经TTS”

[2022.10.18]我们将在此存储库中发布所有版本的MSMC-TTS的代码。欢迎对这项工作感兴趣的任何人加入我们，探索更有用的语音综合语音表示。

[2022.9.22]“高性能神经TTS的多阶段多代码Book VQ-VAE方法”在Interspeech 2022上发布。

用法

 # Install
pip -r requirements.txt

# Train (Take the example of CSMSC, please refer to the example of CSMSC to prepare your training data)
python train.py -c examples/csmsc/configs/msmc_vq_gan.yaml
python train.py -c examples/csmsc/configs/msmc_vq_gan_am.yaml

# Multi-GPU Training
python train_dist.py -c examples/csmsc/configs/msmc_vq_gan.yaml
python train_dist.py -c examples/csmsc/configs/msmc_vq_gan_am.yaml

# Test -- Analysis-Synthesis
python infer.py -c examples/csmsc/configs/msmc_vq_gan.yaml -m examples/csmsc/checkpoints/msmc_vq_gan/model_800000 -t examples/csmsc/data/test_ae.yaml -o analysis_synthesis

# Test -- TTS-Synthesis
python infer.py -c examples/csmsc/configs/msmc_vq_gan_am.yaml -m examples/csmsc/checkpoints/msmc_vq_gan_am/model_200000 -t examples/csmsc/data/test_tts.yaml -o tts

尖端

帮助您更好地训练模型！

MSMC-VQ-GAN

要小心您表示的紧凑性。对于单扬声器标准TTS，您可以尝试2-4个头，每个头部可能具有64-256个代码字。
如果您的批次大小太小，请使用较少的代码字，否则批次的框架大小不足以支持动态代码簿更新。
如果您发现MSMC-VQ-GAN中的某些阶段一无所知，则可以改变编码器损失的重量。

多阶段预测指标

三胞胎损失可以提高TT的表现力，但也可能降低光滑度。您可以尝试不同的三重损失权重，例如0、0.01、0.1、1，以找到最平衡的性能。
对于低资源数据集，请使用较小的型号避免过度合并。早期也是一个有用的技巧。

引用

@inproceedings{guo2022msmc,
  title={A Multi-Stage Multi-Codebook VQ-VAE Approach to High-Performance Neural TTS},
  author={Guo, Haohan and Xie, Fenglong and Soong, Frank K and Wu, Xixin and Meng, Helen},
  booktitle={Proc. INTERSPEECH},
  year={2022}
}