ZeroSpeech TTS without T

Zerospeech 2019：無t -pytorch的TTS

• 這是“無監督的端到端學習語音轉換單元的端到端學習”的原始源代碼，這是Interspeech 2019所接受的。
• 除此之外，我們使用此實施來參加2019年Zerospeech挑戰。在驚喜數據集排行榜上，提議的方法在低比特率方面排名^第二，同時獲得更高的平均意見分數（MOS），而CER則比1^號球隊更低。
• 隨意使用或修改它們，將不勝感激的任何錯誤報告或改進建議。如有任何疑問，請聯繫[email protected]。如果您發現此項目對您的研究有幫助，請考慮引用本文，謝謝！

快速開始

設定

• 克隆此倉庫： git clone [email protected]:andi611/ZeroSpeech-TTS-without-T.git
• CD進入此存儲庫： cd ZeroSpeech-TTS-without-T

安裝依賴項

1. 安裝Python 3。

2. 根據您的平台安裝最新版本的Pytorch 。為了獲得更好的性能，請在可行的情況下使用GPU支持（CUDA）安裝。該代碼可與Pytorch 0.4及更高版本一起使用。

準備數據

1. 下載Zerospeech數據集。

   • 英文數據集：

    wget https://download.zerospeech.com/2019/english.tgz
   tar xvfz english.tgz -C data
   rm -f english.tgz
   

   • 驚喜數據集：

    wget https://download.zerospeech.com/2019/surprise.zip
   # Go to https://download.zerospeech.com  and accept the licence agreement 
   # to get the password protecting the archive
   unzip surprise.zip -d data
   rm -f surprise.zip
   

2. 將數據集解放到~/ZeroSpeech-TTS-without-T/data之後，數據樹應該看起來像這樣：

    |- ZeroSpeech-TTS-without-T
   	 |- data
   		 |- english
   			 |- train
   			 	|- unit
   			 	|- voice
   			 |- test
   		|- surprise
   			 |- train
   			 	|- unit
   			 	|- voice
   			 |- test
   

3. 預處理數據集和示例模型就緒索引文件：

    python3 main.py --preprocess —-remake
   

用法

訓練

1. 訓練ASR-TTS自動編碼器模型，以發現離散語言單元的發現：

    python3 main.py --train_ae
   

   可調超參數可以在HPS/Zerospeech.json中找到。您可以通過編輯文件來調整這些參數並設置設置，建議該項目使用默認的超參數。

2. 訓練TTS Patcher以提高語音轉換性能：

    python3 main.py --train_p --load_model --load_train_model_name=model.pth-ae-400000
   

3. 培訓TTS Patcher和目標有指導的對抗訓練：

    python3 main.py --train_tgat --load_model --load_train_model_name=model.pth-ae-400000
   

4. 用張板監視（可選）

    tensorboard --logdir='path to log dir'
   or
   python3 -m tensorboard.main --logdir='path to log dir'
   

測試

1. 在單個演講中測試::

    python3 main.py --test_single --load_test_model_name=model.pth-ae-200000
   

2. 測試“ Synthesis.txt”並生成重新合成的音頻文件：：

    python3 main.py --test --load_test_model_name=model.pth-ae-200000
   

3. 測試test/並生成編碼文件：：

    python3 main.py --test_encode --load_test_model_name=model.pth-ae-200000
   

4. 添加--enc_only僅使用ASR-TTS AutoCododer測試：

    python3 main.py --test_single --load_test_model_name=model.pth-ae-200000 --enc_only
   python3 main.py --test --load_test_model_name=model.pth-ae-200000 --enc_only
   python3 main.py --test_encode --load_test_model_name=model.pth-ae-200000 --enc_only
   

在數據集之間切換

1. 簡單地使用--dataset=surprise即可切換到默認的替代集，如果放置數據樹結構如建議，所有路徑均自動處理。例如：

    python3 main.py --train_ae --dataset=surprise
   

訓練有素的模型

1. 我們提供訓練有素的模型作為CKPT文件，donwload鏈接：bit.ly/zerospeech2019-liu
2. 培訓的重新加載模型：

    --load_train_model_name=model.pth-ae-400000-128-multi-1024-english
   

   （ --ckpt_dir=./ckpt_english或--ckpt_dir=./ckpt_surprise默認情況下）。
3. 兩種加載測試模型的方法：

    --load_test_model_name=model.pth-ae-400000-128-multi-1024-english (by name)
   --ckpt_pth=ckpt/model.pth-ae-400000-128-multi-1024-english (direct path)
   

4. 注意HPS/Zerospeech.json需要相應地將您加載的模型設置為。如果正在加載128-multi-1024模型，則應分別將seg_len和enc_size設置為128和1024。如果正在加載ae模型，則在運行main.py時必須使用參數--enc_only （在測試部分中請參見4。）。

筆記

• 此代碼包括我們針對此挑戰測試的所有設置和方法，其中一些並不興奮，但我們沒有將其從代碼中刪除。但是，先前的說明和默認設置是針對我們提出的方法。通過運行它們，可以輕鬆地重現我們的結果。
• TODO：上傳預訓練的模型

引用

 @article{Liu_2019,
   title={Unsupervised End-to-End Learning of Discrete Linguistic Units for Voice Conversion},
   url={http://dx.doi.org/10.21437/interspeech.2019-2048},
   DOI={10.21437/interspeech.2019-2048},
   journal={Interspeech 2019},
   publisher={ISCA},
   author={Liu, Andy T. and Hsu, Po-chun and Lee, Hung-Yi},
   year={2019},
   month={Sep}
}