MSMC TTS 다운로드 -MSMC MSMC TTS 소스 코드 다운로드

MSMC TTS

AI 소스 코드

1.0.0

다운로드

MSMC-TTS : 다단계 멀티 코드 북 tts

MSMC-TTS 용지 시스템의 공식 구현

고성능 신경 TT에 대한 다단계 멀티 코드 북 VQ-VAE 접근
소형 표현을 학습함으로써 저주적 언어에 대한 고품질 신경 TT로
QS-TTS : Vector-Qualtized Self-Spepervised Speech 표현 학습을 통한 반 감독 텍스트 음성 음성 합성을 향해

최신 MSMC-TTS (MSMC-TTS-V2)는 MSMC-VQ-VAE 및 Hifigan을 결합한 MSMC-VQ-GAN 기반 오토 엔코더로 최적화됩니다. 다단계 예측 변수는 여전히 TTS 합성에 대한 MSMCR을 예측하기위한 음향 모델로 적용됩니다.

소식

[2024.04.10] (진행중인) QS-TTS의 구현은 예/csmsc/configs에서 사용할 수 있습니다.

[2022.10.20] MSMC-VQ-GAN을 기반으로 최신 버전의 MSMC-TTS (MSMC-TTS-V2)를 출시합니다. 최신 논문을 참조하십시오. "소형 표현을 학습하여 저주적 언어에 대한 고품질 신경 TTS에 대한 최신 논문"을 참조하십시오.

[2022.10.18] 우리는이 repo에서 모든 버전의 MSMC-TTS의 코드를 발표 할 것입니다. 그리고이 작품에 관심이있는 사람은 우리와 함께 음성 합성을위한보다 유용한 언어 표현을 탐구 할 수 있습니다.

[2022.9.22] "고성능 신경 TTS에 대한 다단계 멀티 코드 북 VQ-VAE 접근법이 Interspeech 2022에 발표된다.

용법

 # Install
pip -r requirements.txt

# Train (Take the example of CSMSC, please refer to the example of CSMSC to prepare your training data)
python train.py -c examples/csmsc/configs/msmc_vq_gan.yaml
python train.py -c examples/csmsc/configs/msmc_vq_gan_am.yaml

# Multi-GPU Training
python train_dist.py -c examples/csmsc/configs/msmc_vq_gan.yaml
python train_dist.py -c examples/csmsc/configs/msmc_vq_gan_am.yaml

# Test -- Analysis-Synthesis
python infer.py -c examples/csmsc/configs/msmc_vq_gan.yaml -m examples/csmsc/checkpoints/msmc_vq_gan/model_800000 -t examples/csmsc/data/test_ae.yaml -o analysis_synthesis

# Test -- TTS-Synthesis
python infer.py -c examples/csmsc/configs/msmc_vq_gan_am.yaml -m examples/csmsc/checkpoints/msmc_vq_gan_am/model_200000 -t examples/csmsc/data/test_tts.yaml -o tts

팁

모델을 더 잘 훈련시키는 데 도움이됩니다!

MSMC-VQ-GAN

표현의 작품에주의하십시오. 단일 스피커 표준 TT의 경우 각 헤드에 64-256 개의 코드 워드가있을 수있는 2-4 헤드를 시도 할 수 있습니다.
배치 크기가 너무 작은 경우 코드 워드를 적게 사용하십시오. 그렇지 않으면 배치의 프레임 크기가 동적 코드 북 업데이트를 지원하기에 충분하지 않습니다.
MSMC-VQ-GAN의 일부 단계가 아무것도 배우지 않는다는 것을 알게되면 인코더 손실의 무게를 변경할 수 있습니다.

다단계 예측 변수

삼중 항 손실은 TT의 표현성을 향상시킬 수 있지만 부드러움을 저하시킬 수도 있습니다. 가장 균형 잡힌 성능을 찾기 위해 0, 0.01, 0.1, 1과 같은 트리플렛 손실의 다른 가중치를 시도 할 수 있습니다.
저주적 데이터 세트의 경우 소규모 모델을 사용하여 과도하지 않도록하십시오. 이른 스톱도 유용한 트릭입니다.

인용

@inproceedings{guo2022msmc,
  title={A Multi-Stage Multi-Codebook VQ-VAE Approach to High-Performance Neural TTS},
  author={Guo, Haohan and Xie, Fenglong and Soong, Frank K and Wu, Xixin and Meng, Helen},
  booktitle={Proc. INTERSPEECH},
  year={2022}
}