vae_tacotron2下載vae_tacotron2源代碼下載

vae_tacotron2

Ai源碼

1.0.0

下載

vae tacotron-2：

在端到端語音綜合中學習潛在表述的非官方實施潛在的表示

存儲庫結構：

 Tacotron-2
├── datasets
├── LJSpeech-1.1	(0)
│   └── wavs
├── logs-Tacotron	(2)
│   ├── mel-spectrograms
│   ├── plots
│   ├── pretrained
│   └── wavs
├── papers
├── tacotron
│   ├── models
│   └── utils
├── tacotron_output	(3)
│   ├── eval
│   ├── gta
│   ├── logs-eval
│   │   ├── plots
│   │   └── wavs
│   └── natural
└── training_data	(1)
    ├── audio
    └── mels

上一個樹顯示了存儲庫的當前狀態。

步驟（0） ：獲取您的數據集，在這裡我設置了ljspeech的示例。
步驟（1） ：預處理數據。這將為您提供training_data文件夾。
步驟（2） ：訓練您的Tacotron型號。產生logs-tacotron文件夾。
步驟（3） ：合成/評估TACOTRON模型。給出tacotron_output文件夾。

要求

首先，您需要與TensorFlow v1.6一起安裝Python 3.5。

接下來，您可以安裝要求：

pip install -r要求.txt

別的：

pip3 install -r sumpliont.txt

數據集：

該存儲庫在LJSpeech數據集上進行了測試，該數據集具有將近24小時的單個女演員語音錄音的標籤。

預處理

在運行以下步驟之前，請確保您在Tacotron-2文件夾中

CD TACOTRON-2

然後可以開始使用預處理：

Python Preprocess.py

或者

python3預處理.py

可以使用-DATASET參數選擇數據集。默認值為ljspeech 。

訓練：

功能預測模型可以使用：

python train.py -model ='tacotron'

或者

python3 train.py -model ='tacotron'

合成

對於頻譜圖網絡（TACOTRON），有三種類型的MEL頻譜圖合成：

評估（自定義句子的合成）。這是在擁有全端到端模型之後通常使用的。

python synthesize.py -model ='tacotron' - mode ='est

或者

python3 synthesize.py -model ='tacotron' - mode ='est

筆記：

該實現並未針對所有方案進行完整測試，而是通過參考音頻工作的培訓和合成。
儘管它僅在沒有GTA的合成中測試，並且使用eval模式進行了測試。
在訓練了250k步驟，在LJSpeech上具有32批次大小，KL錯誤接近零（左右0.001）仍然無法獲得良好的樣式轉移和控制，這可能是因為該模型在LJspeech上訓練，這不是很有表現力數據集，並且只有24 hrs的數據，並且在Blizzard 2013 voice dataset數據集中可能會產生良好的效果。
在我的測試中，到目前為止，我還沒有得到更多的調整，因此我還沒有得到一些好的調整，因此該實現很容易與wavenet和WaveRNN集成。
隨意提出一些更改，甚至更好地提高PR。