detail_tts

세부 tts

이 모델은 AR TT의 모범 사례가되기 위해 세 가지 중요한 방법을 새로 제안했습니다.

• RVQ가 사용되지만 실제 교육은 지속적인 기능을 사용하며이를 가짜 이산화라고합니다.
• 모두 하나의 모델로. 이 모델에는 GPT, 확산, VQVAE, GAN 및 FLOWVAE가 모두 포함되어 있습니다. 하나의 열차 하나의 추론.
• 접두사 SPK EMB 및 프롬프트는 모두 Valle 유형의 추론 및 거북이 유형 훈련의 혜택을 얻는 데 사용됩니다.

다음은 모델이 10000 시간의 매우 더러운 데이터로 훈련 된 후에 얻은 결과입니다. 많은 품질의 데이터로 모델을 쉽게 확장 할 수 있습니다.

프롬프트 0

Prompt00.mov

생성 0

Prompt01.mov

프롬프트 1

프롬프트 10.mov

생성 1

Prompt12.mov

프롬프트 2

Prompt20.mov

생성 2

프롬프트 21.mov

추론

api.py 확인하십시오

데이터 세트 준비

경로 변경에는 스크립트 및 실행에 오디오가 포함되어 있습니다

 python prepare/0_vad_asr_save_to_jsonl.py

훈련과 미세 조정

 accelerate launch train.py

미세 조정하려면 프리 트레인 모델로드 경로를 변경하십시오.

감사의 말

GSV의 VQ 및 VITS

거북이의 확산 및 GPT