FlashSpeech

Flashspeech

Flashspeech的實現。有關所有詳細信息，請查看我們接受ACM MM 2024接受的論文：FlashSpeech：有效的零彈性語音合成。

注意

• 由於原始代碼中使用了一些內部Microsoft工具，因此該項目是基於Amphion的NaturalSpeech2的修改版本。
• 環境設置：

  bash env.sh

• 我遇到了類似的問題（相關問題），因此我用lightning替換了Amphion的accelerate 。 lightning訓練更快。

數據準備

• 根據您的數據修改ns2dataset.py 。
• 此版本已在庫列茨數據集上進行了測試。確保您已提前準備以下數據：
  • 瀝青
  • 代碼
  • 音素
  • 期間

訓練

1. 運行訓練腳本：

   bash egs/tts/NaturalSpeech2/run_train.sh

重要說明：

• 選擇配置：

  • 您可以根據訓練階段選擇***_s1或***_s2配置文件。

• 修改模型編解碼器：

  • 在models/tts/naturalspeech2/flashspeech.py中，將編解碼器更新為自己。
  • 調整self.latent_norm ，以使對標準偏差的編解碼器標準化。 （此步驟對於訓練一致性模型至關重要。）

• 階段2設置：

  • 在models/tts/naturalspeech2/flashspeech_trainer_stage2.py中，設置了從階段1訓練獲得的初始權重。

• 第三階段發展：

  • 階段3的代碼尚未發布。但是，您可以參考第1階段的一致性培訓來實施它。

托多

進一步組織項目結構並完成其餘代碼。

致謝

特別感謝Amphion ，因為我們的代碼庫主要是從Amphion借來的。

感謝您使用FlashSpeech！