Transformer TTS

變壓器-TT

• 通過變壓器網絡的神經語音綜合實施的Pytorch實施
• 該模型的訓練速度可以比著名的SEQ2SEQ模型（如Tacotron）快3到4倍，而合成語音的質量幾乎相同。通過實驗證實，每步大約需要0.5秒。
• 我沒有使用WaveNet Vocoder，而是使用TACOTRON的CBHG模型學習了郵政網絡，並使用Griffin-Lim算法將頻譜圖轉換為原始波。

要求

• 安裝Python 3
• 安裝pytorch == 0.4.0
• 安裝要求：

   pip install -r requirements.txt
  

數據

• 我使用了由文本腳本和WAV文件對組成的LJSpeech數據集。可以在此處下載完整的數據集（13,100對）。我轉介https://github.com/keithito/tacotron和https://github.com/kyubyong/dc_ttts用於預處理代碼。

預驗證的模型

• 您可以在此處下載預告片的型號（AR模型為160K / postnet 100k）
• 在檢查點/目錄處找到驗證的模型。

注意圖

• 大約15K步驟後出現對角線對齊。下面的注意力圖是160k步驟。圖代表了所有層的多頭注意。在此實驗中，H = 4用於三個注意層。因此，為每個編碼器，解碼器和編碼器描述器繪製了12個注意圖。除解碼器外，只有幾個多頭顯示對角線比對。

自我注意編碼器

自我關注的解碼器

注意編碼器編碼器

學習曲線和alpha

• 我使用了NOAM風格的熱身和衰減與Tacotron一樣

• 縮放位置編碼的α值與論文不同。在本文中，編碼器的α值增加到4，而在本實驗中，它在開始時略有增加，然後連續下降。自一開始以來，解碼器alpha一直在穩步下降。

實驗筆記

1. 學習率是培訓的重要參數。初始學習率為0.001，指數衰減無效。
2. 梯度剪輯也是訓練的重要參數。我用規範值1剪切了梯度。
3. 隨著停止令牌損失，該模型沒有訓練。
4. 在註意機制中加入輸入和上下文向量非常重要。

生成的樣品

• 您可以在下面檢查一些生成的樣本。所有樣本均以160K的速度步進，因此我認為該模型尚未融合。在長句子中，該模型似乎是較低的性能。

  • 樣本1
  • 樣本2
  • 樣本3

• 第一個圖是預測的MEL頻譜圖，第二個是地面真相。

文件說明

• hyperparams.py包含所有需要的超級參數。
• prepare_data.py預處理wav文件到MEL，線性光譜圖並保存它們以獲取更快的訓練時間。文本的預處理代碼在文本/目錄中。
• 加載數據時， preprocess.py包括所有預處理代碼。
• module.py包含所有方法，包括注意力，Prenet，Postnet等。
• network.py包含網絡，包括編碼器，解碼器和後處理網絡。
• train_transformer.py用於培訓自迴旋的注意力網絡。 （文字 - > mel）
• train_postnet.py用於培訓後網絡。 （梅爾 - >線性）
• synthesis.py用於生成TTS樣品。

培訓網絡

• 步驟1。在所需的任何目錄中下載並提取LJSpeech數據。
• 步驟2。在hyperparams.py中調整超參數，尤其是“ data_path”，這是您提取文件的目錄，以及如有必要的目錄。
• 步驟3。運行prepare_data.py 。
• 步驟4。運行train_transformer.py 。
• 步驟5。運行train_postnet.py 。

生成TTS WAV文件

• 步驟1。運行synthesis.py 。確保還原步驟。

參考

• Keith Ito：https：//github.com/keithito/tacotron
• Kyubyong公園：https：//github.com/kyubyong/dc_tts
• jadore801120：https：//github.com/jadore801120/astention-is-is-all-you-need-pytorch/

評論

• 總是歡迎對代碼的任何評論。