Transformer Text To Speech

變壓器文字到語音

文本到語音（TTS）系統將普通語言文本轉換為語音；其他系統將像徵性的語言表示（例如語音轉錄到語音）。現在，隨著深度學習的最新發展，可以將文本轉換為可理解的聲音。為此，文本被饋送到編碼器型神經網絡中，以輸出MEL光譜圖。現在，該MEL光譜圖可用於使用“ Griffin-Lim算法”來生成音頻。但是，由於它無法產生類似人類的語音質量，因此使用了名為wavenet的另一種神經網，它被Mel-Spectrogram饋送，以產生音頻，即使人也無法區分。

模型架構

1。變壓器TTS

• 用於並行訓練的編碼器 - 碼頭變壓器體系結構，而不是用於TACOTRON-2的SEQ2SEQ訓練。
• 文本作為輸入發送，並且模型輸出了MEL-SPECTROGRAM。
• 採用了多頭注意的注意力，僅在解碼器方面掩蓋了因果掩蔽。
• 論文：具有變壓器網絡的神經語音綜合。

2。 Wavenet

*

• 變壓器TTS（MEL-SPECTROGRAM）的輸出被送入波納特以生成音頻樣品。
• 與Seq2Seq型號不同，Wavenet還允許並行訓練。
• 紙：WaveNet：原始音頻的生成模型。

數據集信息

該模型接受了WMT-2014英語 - 德國數據集的一部分培訓。在訓練模型之前，進行了預處理。
數據集：https：//keithito.com/lj-speech-dataset/