FlashSpeech

FlashSpeech

FlashSpeech의 구현. 모든 세부 사항은 ACM MM 2024 : FlashSpeech : 효율적인 제로 샷 음성 합성에 수락 된 논문을 확인하십시오.

알아채다

• 이 프로젝트는 원래 코드에서 일부 내부 Microsoft 도구를 사용하여 Amphion의 NaturalSpeech2를 기반으로 한 수정 된 버전입니다.
• 환경 설정 :

  bash env.sh

• 비슷한 문제 (관련 문제)가 발생했기 때문에 Amphion의 accelerate lightning 로 교체했습니다. lightning 로 훈련하는 것이 더 빠릅니다.

데이터 준비

• 데이터를 기반으로 ns2dataset.py 수정하십시오.
• 이 버전은 Libritts 데이터 세트에서 테스트되었습니다. 다음 데이터를 미리 준비했는지 확인하십시오.
  • 정점
  • 암호
  • 음소
  • 지속

훈련

1. 훈련 스크립트 실행 :

   bash egs/tts/NaturalSpeech2/run_train.sh

중요한 메모 :

• 구성 선택 :

  • 교육 단계를 기반으로 ***_s1 또는 ***_s2 구성 파일을 선택할 수 있습니다.

• 모델 코덱 수정 :

  • models/tts/naturalspeech2/flashspeech.py 에서 코덱을 자신의 것으로 업데이트하십시오.
  • 표준 편차에 잠재 된 코덱을 정규화하려면 self.latent_norm 조정하십시오. (이 단계는 일관성 모델을 훈련시키는 데 중요합니다.)

• 2 단계 설정 :

  • models/tts/naturalspeech2/flashspeech_trainer_stage2.py 에서 1 단계 훈련에서 얻은 초기 가중치를 설정하십시오.

• 3 단계 개발 :

  • 3 단계 코드는 아직 출시되지 않았습니다. 그러나 1 단계의 일관성 교육을 참조하여이를 구현할 수 있습니다.

TODO

프로젝트 구조를 추가로 구성하고 나머지 코드를 완성하십시오.

감사의 말

코드베이스는 주로 Amphion에서 빌려 주므로 Amphion 에게 특별한 감사를드립니다.

FlashSpeech를 사용해 주셔서 감사합니다!