detail_tts

細節TTS

該模型新提出的三種重要的重要方法是成為AR TT的最佳實踐。

• 儘管使用了RVQ，但實際培訓採用了連續的功能，但我稱其為假離散化。
• 全都是一個模型。該模型包含GPT，擴散，VQVAE，GAN和FLOWVAE一方面。一列火車。
• 兩個前綴的SPK EMB和提示都用於從Valle類型推理和烏龜類型培訓中受益。

這是對模型在10000小時非常臟數據進行培訓後獲得的結果。該模型可以通過許多低質量的數據輕鬆擴展。

提示0

提示00.Mov

生成0

提示01.Mov

提示1

提示10.Mov

生成1

提示112.MOV

提示2

提示20.Mov

生成2

提示21.mov

推理

檢查api.py

數據集準備

更改路徑包含腳本中的音頻並運行

 python prepare/0_vad_asr_save_to_jsonl.py

火車和微調

 accelerate launch train.py

對於微調，請更改預處理模型負載路徑。

致謝

VQ和GSV的VIT

從烏龜擴散和gpt