tf_multispeakerTTS_fc

MultiSpeaker語音綜合，具有說話者Verificaiton的反饋約束

這是從紙張驗證到多言揚聲器語音綜合，深層轉移和反饋約束的深層傳輸的紙張tts網絡的張量實現。該存儲庫還包含一個深揚聲器驗證模型，該模型在多演講者TTS模型中用作反饋網絡。合成樣品在線提供。

引用

 @inproceedings{Cai2020,
  author={Zexin Cai and Chuxiong Zhang and Ming Li},
  title={{From Speaker Verification to Multispeaker Speech Synthesis, Deep Transfer with Feedback Constraint}},
  year=2020,
  booktitle={Proc. Interspeech 2020}
}

模型架構

揚聲器嵌入網絡是一個基於重新連接的網絡：

---

訓練

揚聲器驗證模型

揚聲器驗證模型位於目錄deep_speaker中。默認情況下，使用Data Voxceleb 1和Voxceleb 2進行了揚聲器驗證模型。您可以在目錄中找到文件列表。超參數設置在vox12_hparams.py中。

要訓​​練揚聲器verificaiton模型從頭開始，請按文件列表中列出的數據進行準備並運行：

CUDA_VISIBLE_DEVICES=0 python train.py

TTS合成器（無反饋控制）

默認情況下，使用數據集VCTK對合成器進行了訓練。

• 使用process_audio.ipynb提取音頻功能

• 使用ipython筆記本deep_speaker/get_gvector.ipynb提取揚聲器嵌入

• 訓練基線多孔TTS系統

  CUDA_VISIBLE_DEVICES=0 python synthesizer_train.py vctk datasets/vctk/synthesizer

• 在訓練期間，請隨時使用Syn.ipynb評估和合成樣品

神經聲碼器（Wavernn）

默認情況下，還使用DataSet VCTK對Vocoder進行了訓練。從上一節（ TTS合成器）中提取聲學特徵後，這將很容易。為了獲得更好的性能，請使用合成器訓練完成後Vocoder_preprocess.py獲得的GTA MEL-SPECTROGRAM。

CUDA_VISIBLE_DEVICES=0 python vocoder_train.py -g --syn_dir datasets/vctk/synthesizer vctk datasets/vctk

帶反饋約束的TTS合成器

• 通過更改HPARAMS.PY中的相應鍵來設置兩個預驗證模型（揚聲器驗證模型和多座式合成器）的路徑。

• 訓練模型並隨時用反饋_syn.ipynb進行評估

  CUDA_VISIBLE_DEVICES=0 python fc_synthesizer_train.py

預驗證的模型

• 揚聲器嵌入網絡
• 基線合成器1（用作反饋訓練的預審預理學模型）
• 基線合成器2
• 帶反饋約束的TTS合成器
• Wavernn Vocoder

---

參考和資源

• Rayhane-Mamah/ Tacotron-2
• corentinj/實時voice-cloning
• 揚聲器和語言識別的即時數據加載程序和話語級聚合
• 天然TTS合成通過在MEL頻譜圖預測上調節波諾特
• 有效的神經音頻綜合