dc_tts

DC-TTS的TensorFlow實現：另一個文本到語音模型

我實施了另一個文本到語音模型DC-TTS，該模型基於有效的捲積網絡，在有效的捲積網絡中引入了具有指導性的注意力。但是，我的目標不只是複制論文。相反，我想了解有關各種聲音項目的見解。

要求

• numpy> = 1.11.1
• TensorFlow> = 1.3（請注意，從1.3起， tf.contrib.layers.layer_norm的API已更改）
• 天秤座
• TQDM
• matplotlib
• Scipy

數據

我在四個不同的語音數據集上培訓英語模型和韓國模型。

1。 LJ語音數據集
2。尼克·奧弗曼（Nick Offerman）的有聲讀物
3。凱特·溫斯萊特的有聲讀物
4。 KSS數據集

LJ語音數據集最近被廣泛用作TTS任務中的基準數據集，因為它已公開可用，並且具有24小時合理的質量樣本。尼克和凱特的有聲讀物還用於查看該模型是否可以通過更少的數據（可變語音樣本）學習。它們分別為18小時5小時。最後，KSS數據集是韓國單揚聲器語音數據集，持續超過12小時。

訓練

• 步驟0。下載LJ語音數據集或準備自己的數據。
• 步驟1。在hyperparams.py中調整超級參數。 （如果您想進行預處理，請設置Prepro true`。
• 步驟2。運行python train.py 1用於培訓Text2Mel。 （如果設置prepro true，請首先運行python prepro.py）
• 步驟3。運行python train.py 2用於訓練SSRN。

如果您擁有多個GPU卡，則可以同時執行步驟2和3。

訓練曲線

注意情節

樣品合成

我像原始論文一樣，根據哈佛句子來生成語音樣本。它已經包含在存儲庫中。

• 運行synthesize.py並檢查samples中的文件。

生成的樣品

數據集	樣品
LJ	50k 200k 310k 800k
缺口	40k 170k 300k 800k
凱特	40k 160k 300k 800k
KSS	400k

LJ預驗證的模型

下載此。

筆記

• 該論文沒有提及歸一化，但是如果沒有歸一化，我就無法正常工作。因此，我添加了層歸一化。
• 該論文將學習率定為0.001，但對我不起作用。所以我腐爛了。
• 我試圖同時訓練Text2Mel和SSRN，但這無效。我想將這兩個網絡分開減輕培訓的負擔。
• 作者聲稱該模型可以在一天之內訓練，但不幸的是，運氣不是我的。但是，顯然，這比TaCotron只使用卷積層，這比TaCotron要多得多。
• 得益於引導性的關注，注意地塊幾乎從一開始就看起來很單調。我想這似乎使養育牢固，因此不會失去軌道。
• 該論文沒有提及輟學。我應用它們，因為我相信它有助於正規化。
• 還檢查其他TTS模型，例如TaCotron和Deep Voice 3。