FastSpeech2 Pytorch Korean Multi Speaker

fastspeech2-pytorch-korean-multi揚聲器

該項目是通過將Hifi-Gan Vocoder與FastSpeech2相結合的韓國多演講者TTS實現的。

介紹

• 該項目旨在開發“可見的個性化AI揚聲器”項目的TT 。它被您想要的周圍人的聲音所取代，而不是“ Siri”，“ Bixby”和“ Ari”的聲音。 （例如配偶，兒子，女兒，父母等）

• 為了應付立即生產AI揚聲器，而不是Tacotron2和WaveGlow的出色性能，而是非自動效率的Mostspeech2和基於GAN的Vocoder模型Hifi-GAN採用了質量和生產速度。

• 基於與DLLAB中實現的韓國數據集KSS相對應的FastSpeech2源代碼。

項目目的

1. 使用聲音 - 速施2，Vocoder-Hifigan模型用於快速合成速度和高性能
2. 轉移學習用途以少量數據個性化（ +零射克隆側項目）
3. 揚聲器嵌入實施以學習預訓練的多演講者
4. 管道配置，以便在韓國數據集中執行學習過程到端到端

數據集

• 對於預訓練，請使用AIHUB的免費對話聲音學習。
  • 考慮質量
  • 每個說話者在預處理過程中授予了一個唯一的數字ID
• 有關微調，請參閱KSS腳本，並在100個句子-300句子-600句子中記錄新揚聲器的聲音以評估性能。

貢獻（來自Previus項目的添加）

所使用的代碼中的添加內容如下。

1. 揚聲器嵌入實施（韓國多演講者FastSpeech2）

   • 將嵌入層添加到模型
   • 編碼器輸出和代碼實現（嵌入，揚聲器集成器）
   • get_speakers（）函數實現，導入和存儲嵌入信息

2. data_preprocessing.py-end-end-to-end數據預處理實現，包含以下所有項目

   

3. 對長句子不穩定綜合的反應

   • 將其設置為在特殊特徵單元（句子單元）中合成後將其設置

   

4. 導入G2PK源代碼，僅應用數字和英語

   • 將現有G2PK的軟件包修改為只有不安裝PIP的韓語。

精美的作品

• 如圖所示，將WAV目錄和JSON或成績單文件保存在數據集/數據名稱中。

• 學習Kaldi的蒙特拉爾強迫艾林格通過學習音頻數據來學習Textgrid 。

   # lab 생성, mfa 학습, lab 분리
  python data_preprocessing.py 
  

• 保存HIFI-GAN學到的發電機在Vocoder/Prepained_models目錄中學習期間進行評估。

1. 直接根據格式寫入數據，或通過參考data_preprocessing.py的功能來創建成績單。
2. 將生成的成績單和數據的目錄存儲在數據集中，然後運行data_propropopessing.py
3. MFA工作已完成，textGrid.zip文件是在頂級目錄中創建的
4. Preprocess.py執行並檢查預處理的文件夾。

火車

• 設置Hparam.py的批處理大小，HIFI-GAN生成器並開始學習的路徑。

   python train.py
  

• 如果您正在學習，則可以通過添加Restore_Step來學習。

   python train.py --restore_step [step]
  

轉移學習

1. 如果您對多演講者進行預訓練，則存儲揚聲器_INFO.JSON自動在預訓練期間生成

2. 將speeder_info.json放在目錄的頂部

3. 與在火車上進行研究一樣，運行Python

    python train.py --restore_step [pre-train의 step]
   

合成

• 用snythesize.py文件合成。

   python synthesize.py --step [step수]
  

  • 合成1、2、3選擇作為隨機呈現的腳本
  • 4選擇4

模型管道

該管道是與服務相對應的TTS學習和創建的流動管道。

• 容器在很大程度上被歸類為四個。

  1. 數據庫容器包含數據的路徑和用戶信息
  2. 成績單創建，文件名簡化，使用MFA提取的TextGrid提取，模型的數據預處理容器
  3. 學習用於預訓練的容器
  4. 學習用於微調新數據的容器

• 在實際的服務情況下，只有三個容器可以工作。