hifi gan

HIFI-GAN：生成的對抗網絡，可高效且高保真語音綜合

Jungil Kong，Jaehyeon Kim，Jaekyoung Bae

在我們的論文中，我們提出了HIFI-GAN：一個基於GAN的模型，能夠有效地產生高忠誠度的語音。
我們將實施和預估計的模型作為此存儲庫中的開源。

摘要：關於語音合成的最近幾項工作已採用生成對抗網絡（GAN）來產生原始波形。儘管此類方法提高了採樣效率和記憶使用量，但它們的樣本質量尚未達到自回歸和基於流動的生成模型的質量。在這項工作中，我們提出了HIFI-GAN，它可以實現有效和高保真的語音綜合。由於語音音頻由具有各個時期的正弦信號組成，因此我們證明了音頻的建模週期性模式對於提高樣品質量至關重要。單個揚聲器數據集的主觀人類評估（平均意見分數，MOS）表明，我們提出的方法與人類質量相似，同時在單個V100 GPU上產生比實時快的22.05 kHz高保真音頻167.9倍。我們進一步展示了Hifi-GAN的通用性與看不見的說話者和端到端語音綜合的旋轉光譜反演。最後，HIFI-GAN的小足跡版本的樣品比實時的CPU生成13.4倍，其質量與自動回歸對應物的質量可比。

訪問我們的演示網站以獲取音頻樣本。

先決條件

1. python> = 3.6
2. 克隆這個存儲庫。
3. 安裝Python要求。請參閱要求
4. 下載並提取LJ語音數據集。並將所有WAV文件移至LJSpeech-1.1/wavs

訓練

 python train.py --config config_v1.json

要訓​​練V2或V3生成器，請用config_v2.json或config_v3.json替換config_v1.json 。
默認情況下，檢查點和配置文件的副本保存在cp_hifigan目錄中。
您可以通過添加--checkpoint_path選項來更改路徑。

V1發電機培訓期間的驗證損失。

預驗證的模型

您也可以使用我們提供的驗證型號。
下載驗證的型號
每個文件夾的詳細信息如下：

文件夾名稱	發電機	數據集	微調
LJ_V1	V1	ljspeech	不
LJ_V2	v2	ljspeech	不
LJ_V3	V3	ljspeech	不
lj_ft_t2_v1	V1	ljspeech	是（tacotron2）
lj_ft_t2_v2	v2	ljspeech	是（tacotron2）
lj_ft_t2_v3	V3	ljspeech	是（tacotron2）
VCTK_V1	V1	VCTK	不
VCTK_V2	v2	VCTK	不
VCTK_V3	V3	VCTK	不
Universal_v1	V1	普遍的	不

我們為通用模型提供了歧視權重，可以用作將學習轉移到其他數據集的基礎。

微調

1. 使用tacotron2和教師形式生成numpy格式的mel光譜圖。
   生成的MEL光譜圖的文件名應與音頻文件匹配，並且擴展名為.npy 。
   例子：

    Audio File : LJ001-0001.wav
   Mel-Spectrogram File : LJ001-0001.npy
   

2. 創建ft_dataset文件夾，然後將生成的MEL-SPECTROGRAM文件複製到其中。
   
3. 運行以下命令。

    python train.py --fine_tuning True --config config_v1.json
   

   有關其他命令行選項，請參閱培訓部分。

WAV文件的推斷

1. 將test_files目錄並將WAV文件複製到目錄中。
2. 運行以下命令。

    python inference.py --checkpoint_file [generator checkpoint file path]
   

默認情況下，生成的WAV文件保存在generated_files中。
您可以通過添加--output_dir選項來更改路徑。

端到端語音合成的推斷

1. 將test_mel_files目錄和復制生成的MEL-SPECTROGRAM文件複製到目錄中。
   您可以使用tacotron2，Glow-TT等生成MEL-SPECTROGRAM。
2. 運行以下命令。

    python inference_e2e.py --checkpoint_file [generator checkpoint file path]
   

默認情況下，生成的WAV文件保存在generated_files_from_mel中。
您可以通過添加--output_dir選項來更改路徑。

致謝

我們提到了Waveglow，Melgan和Tacotron2來實現這一點。