Robust_Fine_Grained_Prosody_Control

端到端語音綜合的強大而細粒度的韻律控制（帶有浪潮）

強大而細粒度的端到端語音綜合控制（非官方）的強大和細粒度的韻律控制

此實現使用庫列特數據集。

筆記

1. 開發分支：帶有多座的Tacotron2（揚聲器嵌入）。說話者信息僅由解碼器模塊消耗，而注意模塊沒有看到任何內容（作為作者的意圖）。
2. text_side分支：文本側韻律控制模型實現。
3. 語音側韻律控制和韻律歸一化不是在當前版本中實現的，但是您可以簡單地將它們添加到上述分支的頂部。

先決條件

1. nvidia gpu + cuda cudnn

設定

1. 下載並提取Libsitts數據集
2. 克隆此倉庫： git clone https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control.git
3. CD進入此倉庫： cd Robust_Fine_Grained_Prosody_Control
4. 初始化subsodule： git submodule init; git submodule update
5. 更新.wav路徑： sed -i -- 's,/home/keon/speech-datasets/LibriTTS_preprocessed/train-clean-100/,your_libritts_dataset_folder/,g' filelists/*.txt
   • 另外，設置load_mel_from_disk=True in hparams.py和更新mel-spectragram路徑
6. 安裝Pytorch 1.0
7. 安裝頂點
8. 安裝Python要求或構建Docker Image
   • 安裝Python要求： pip install -r requirements.txt

訓練

1. python train.py --output_directory=outdir --log_directory=logdir
2. （可選） tensorboard --logdir=outdir/logdir

使用預訓練的模型培訓

（TBD）

多GPU（分佈式）和自動混合精度訓練

1. 當前實施不支持。

推理

1. 單個樣本： python inference.py -c checkpoint/path -r reference_audio/wav/path -t "synthesize text"
2. 多樣本： python inference_all.py -c checkpoint/path -r reference_audios/dir/path

NB執行MEL光譜圖與音頻合成時，請確保對Tacotron 2和MEL解釋器進行相同的MEL光譜圖表示。

引用

 @misc{lee2021robust_fine_grained_prosody_control,
  author = {Lee, Keon},
  title = {Robust_Fine_Grained_Prosody_Control},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control}}
}

相關存儲庫

波格綜合的速度比實時流量的生成網絡快速綜合語音綜合

NV-Wavenet的速度比實時磁帶快。

致謝

該實現使用以下存儲庫中的代碼：NVIDIA/TACOTRON-2，KINGLITTERQ/GST-TACOTRON

我們感謝論文作者，特別是Younggun Lee和Taesu Kim。