ttts

詳細信息：學習零擊文本到語音的殘留詳細信息

靈感

據我所知，該項目的方法是我提出的第一個此類方法。主要思想源於“細節”的建模，因為我對基於VQ（向量量化）方法無法很好地重建音頻的事實感到困擾，並且也沒有辦法對此殘差進行建模。但是，對於傳統的VIT，有一些方法可以創建一些監督信號，例如線性光譜，或者使用可學習的嵌入來學習持續時間。這些觀察結果最終導致了這種方法取得了非常好的結果。

演示

訪問演示頁面

安裝

訪問預訓練的模型

 pip install -e .

訓練

1。代幣培訓

使用ttts/prepare/bpe_all_text_to_one_file.py合併您收集的所有文本。要訓​​練令牌器，請檢查ttts/gpt/voice_tokenizer以獲取更多信息。

2。 VQVAE培訓

使用1_vad_asr_save_to_jsonl.py和2_romanize_text.py進行預處理數據集。使用以下指令訓練模型。

 accelerate launch ttts/vqvae/train_v3.py

多語言

現在支持中文，英語，日語，韓語。

您可以使用兩個步驟使用此模型的任何語言。

• 首先，收集此語言的許多文本。
• 其次，訓練ttts/gpt/voice_tokenizer獲取字典。

對於英語，您可以直接使用文本。但是，對於中文，您需要使用拼音，對於日語，您需要使用romaji，並確保在文本中包含發音信息。

推理

請檢查api.py以獲取推理細節。

微調

使用預估計的模型更改Train_v3.py中的負載路徑，然後訓練它。關於數據集，您應該預處理文本和音頻路徑和拉丁語。您可以參考ttts/prepare/2_romanize_text.py獲取一些信息。

致謝

• 烏龜這是此倉庫的開始。
• VIT大多數代碼所基於的。
• bert-vits2像MAS這樣的一些優化代碼來自此處。