End to End TTS Fine Tune

端到端TTS微調

介紹

• 該項目旨在開發“老年人AI助手”的TTS系統。您可以使用家人或朋友和戀人的聲音創建一個人工智能助手，只有5分鐘的語音錄製。
• 為了應對需要實時生成的AI揚聲器，我們採用了非自動性的聲學模型FastSpe2和基於GAN的Vocoder模型HIFI-GAN來考慮質量和生產速度。
• 已經進行了其他習俗，以提高多演講者的性能。
• 該存儲庫的配置為簡單地執行學習和創建過程，通過使用Shell Scrip來配置D-Vector多揚聲器FastSpeech2和HIFI-GAN模型以允許微調。
• 要在應用中提供真實的-Time TTS，請使用FastApi配置服務器並與後端鏈接。

項目目的

1. Acoustic-fastspeech2（自定義）

2. 合理的表現，利用轉移學習來用少量數據進行個性化

3. 提供可以實時在韓國數據集中進行微調創建的API

數據集

• 根據屬於數據集文件夾的Fine_tune_transcript.txt，用智能手機記錄100個句子，並將M4A文件轉換為以16000的採樣率的WAV文件。 （FFMPEG）。 （FFMPEG）

• 如圖所示，將100個轉換後的WAV文件添加到您的初始文件夾中。

貢獻

1. 根據微調修改型號代碼

   • FastSpeech2和HIFI-GAN修改和集成
   • 數據集，ckpt和結果目錄由數據集將其分為頂級目錄

2. 簡單的預處理，火車，通過Shell腳本合成

   • 通過更改數據集目錄

3. 提供獨特的Docker圖像

   • 提供可以立即執行的圖像，而無需添加複雜的額外依賴軟件包
   • 通過Docker Hub鏈接導入最新圖像

精美的作品

• 它匹配FastSpeech2和HIFI-GAN預先訓練的CKPT的文件名，並將其保留在每個型號中。

  （fastspeech2：30,000步進學習 / hifi -gan -jungil king的官方假裝-University -University）

• 對於學習和綜合，我們加載和執行包含所有相關軟件包的Docker圖像。

   docker pull hws0120/e2e_speech_synthesis 
  

• run_fs2_preprocessing.sh步驟通過conda命令連接到docker，並安裝python package jamo。

   conda activate aligner
  pip install jamo
  

• 虛擬環境的結束，以執行RUN_FS2_TRAIN或合成。

   conda activate base
  

預處理

• 如果您遇到上述所有項目，請運行Shell腳本以提取MFA。

   sh run_FS2_preprocessing.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

  
  

火車

• 成功地創建了一個文本格言，以退出虛擬環境並運行學習腳本。

   sh run_FS2_train.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

• FastSpeech2 5000步驟學習完成後，請運行HIFI-GAN腳本。

   sh run_HiFi-GAN_train.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

  
  

合成

• 當準備就緒CKPT文件夾中學習的模型時，請運行腳本以進行合成。

   sh run_FS2_synthesize.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

項目管道

每個容器均在學習和合成過程中建立，如圖所示。

如果您有適當的HIFI-GAN檢查站，則可以省略Hifi-GAN學習。