Chinese FastSpeech2

Chinese-FastSpeech2

基於標貝中文標準女聲數據繼續訓練，同時對原論文的FastSpeech2模型做了改進，引入了韻律表徵以及韻律預測模塊，使中文發音更生動且富有節奏

20230402 更新

• 1、加入韻律模型訓練代碼， 在BertProsody目錄下
• 2、加入韻律模型訓練的數據預處理代碼（針對標貝數據，代碼未整理，先放出來），在preprocessor/biaobei.py裡

樣例

參考samples中生成的音頻

模型文件

本項目主體架構為FastSpeech2+HifiGAN結構，另外在輸入階段引入了中文文本的韻律向量，因此共有三個模型：fastspeech_model、hifigan_model、prosody_model（網盤鏈接，提取碼：qgpi），下載後將模型文件放入指定的目錄下：

• 8000.pth.tar ---> output/ckpt/biaobei/
• generator_universal.pth.tar ---> hifigan/
• best_model.pt ---> transformer/prosody_model/

預測

提供了兩種預測方式：1）python synthesize_all.py；2）http接口調用

• 第一種方式是交互式，命令行運行python synthesize_all.py後，輸入需要轉換的文本，運行後會在代碼會在當前工作目錄下生成tmp.wav文件；
• 第二種方式是api調用，運行tts_server.py，會啟動語音轉文本的接口，調用該接口可參考TestServer.py，同樣生成的音頻文件(tmp.wav)會保存在當前工作目錄下

訓練

• 由於本項目參考FastSpeech2項目，如果想自定義訓練，該項目提供了較為詳細的訓練方法可供參考；
• 本項目對原方法作了一些優化，優化部分可參考博客: 基於FastSpeech2優化的中文語音合成

---

本項目是出於個人興趣在語音合成方面做的一些嘗試，歡迎大家批評指正，多多交流！