MSMC TTS

MSMC-TTS: TTS de código múltiple de múltiples etapas

Implemento oficial del sistema de documentos MSMC-TTS

• Un enfoque de VQ-VAE de código múltiple en varias etapas para TTS neurales de alto rendimiento
• Hacia el TTS neural de alta calidad para idiomas de baja recursos mediante la representación compacta de aprendizaje
• QS-TTS: hacia la síntesis semi-supervisada de texto a voz a través de la representación del habla auto-supervisada con vectores.

El último MSMC-TTS (MSMC-TTS-V2) está optimizado con un autoencoder basado en MSMC-VQ-Gan que combina MSMC-VQ-VAE y Hifigan. El predictor de múltiples etapas todavía se aplica como el modelo acústico para predecir MSMCR para la síntesis de TTS.

Noticias

[2024.04.10] (en progreso) La implementación de QS-TTS está disponible en ejemplos/csmsc/configs

[2022.10.20] Lanzamos la última versión de MSMC-TTS (MSMC-TTS-V2) basada en MSMC-VQ-Gan. Consulte nuestro último artículo "Hacia TTS neural de alta calidad para idiomas de baja recursos aprendiendo la representación compacta"

[2022.10.18] Lanzaremos el código de todas las versiones de MSMC-TTS en este repositorio. Y cualquier persona interesada en este trabajo es bienvenido a unirse a nosotros para explorar representaciones del habla más útiles para la síntesis del habla.

[2022.9.22] "Se publica un enfoque VQ-VA de múltiples códigos múltiples para TTS neural de alto rendimiento" en Interspeech 2022.

Uso

 # Install
pip -r requirements.txt

# Train (Take the example of CSMSC, please refer to the example of CSMSC to prepare your training data)
python train.py -c examples/csmsc/configs/msmc_vq_gan.yaml
python train.py -c examples/csmsc/configs/msmc_vq_gan_am.yaml

# Multi-GPU Training
python train_dist.py -c examples/csmsc/configs/msmc_vq_gan.yaml
python train_dist.py -c examples/csmsc/configs/msmc_vq_gan_am.yaml

# Test -- Analysis-Synthesis
python infer.py -c examples/csmsc/configs/msmc_vq_gan.yaml -m examples/csmsc/checkpoints/msmc_vq_gan/model_800000 -t examples/csmsc/data/test_ae.yaml -o analysis_synthesis

# Test -- TTS-Synthesis
python infer.py -c examples/csmsc/configs/msmc_vq_gan_am.yaml -m examples/csmsc/checkpoints/msmc_vq_gan_am/model_200000 -t examples/csmsc/data/test_tts.yaml -o tts

Consejos

¡Ayuda mejor a entrenar tus modelos!

MSMC-VQ-GAN

1. Tenga cuidado con la compacidad de su representación. Para TTS estándar de un solo plato, puede probar 2-4 cabezas, que cada cabezal puede tener 64-256 codewords.
2. Utilice menos códigos de códigos si su tamaño por lotes es demasiado pequeño, de lo contrario, el tamaño del marco de un lote es insuficiente para admitir la actualización dinámica del libro de códigos.
3. Puede cambiar el peso de la pérdida del codificador si encuentra que algunas etapas en su MSMC-VQ-Gan no aprenden nada.

Predictor de múltiples etapas

1. La pérdida de triplete puede mejorar la expresividad de TTS, pero también puede degradar la suavidad. Puede probar diferentes pesos de pérdida de triplete, como 0, 0.01, 0.1, 1, para encontrar el rendimiento más equilibrado.
2. Para conjuntos de datos de baja recursos, use modelos más pequeños para evitar el ajuste excesivo. La parada temprana también es un truco útil.

Citas

@inproceedings{guo2022msmc,
  title={A Multi-Stage Multi-Codebook VQ-VAE Approach to High-Performance Neural TTS},
  author={Guo, Haohan and Xie, Fenglong and Soong, Frank K and Wu, Xixin and Meng, Helen},
  booktitle={Proc. INTERSPEECH},
  year={2022}
}

Reconocer

1. Implementación de FastSpeech: https://github.com/nvidia/nemo
2. Implementación de Hifigan: https://github.com/jik876/hifi-gan
3. Implementación de Univnet: https://github.com/mindslab-ai/univnet
4. Implementación vits: https://github.com/jaywalnut310/vits