melgan

梅爾根

梅爾根聲碼器的非正式Pytorch實施

關鍵功能

• 梅爾根（Melgan）比浪潮（Wavellow）輕，更快，更能概括看不見的揚聲器。
• 此存儲庫使用來自NVIDIA/TACOTRON2的相同MEL光譜圖函數，因此可以直接用於將NVIDIA TACOTRON2的輸出轉換為Raw-Audio。
• 通過Pytorch Hub在LJSpeech-1.1上進行了預估計的模型。

先決條件

在Python 3.6上測試

pip install -r requirements.txt

準備數據集

• 下載數據集進行培訓。這可以是帶有樣本率為22050Hz的任何WAV文件。 （例如，在紙上使用LJSpeech）
• 預處理： python preprocess.py -c config/default.yaml -d [data's root path]
• 編輯配置yaml文件

火車和張板

• python trainer.py -c [config yaml file] -n [name of the run]
  • cp config/default.yaml config/config.yaml ，然後編輯config.yaml
  • 將火車/驗證文件的根路徑寫入第二/第三行。
  • 每條路徑應包含對相應（預處理） *.mel文件的*.wav對。
  • 數據加載程序在路徑中遞歸中解析文件列表。
• tensorboard --logdir logs/

預驗證的模型

嘗試Google Colab：todo

 import torch
vocoder = torch . hub . load ( 'seungwonpark/melgan' , 'melgan' )
vocoder . eval ()
mel = torch . randn ( 1 , 80 , 234 ) # use your own mel-spectrogram here

if torch . cuda . is_available ():
    vocoder = vocoder . cuda ()
    mel = mel . cuda ()

with torch . no_grad ():
    audio = vocoder . inference ( mel )

推理

• python inference.py -p [checkpoint path] -i [input mel path]

結果

請參閱以下網址：http：//swpark.me/melgan/。使用LJSpeech-1.1在V100 GPU進行了14天的培訓。

實施作者

• Seungwon Park@Mindslab Inc.（[email protected]，[email protected]）
• Myunchul Joe @ MindSlab Inc.
• Rishikesh @ DeepSync Technologies Pvt Ltd.

執照

BSD 3條規定許可證。

• Prem Seetharaman的UTIT/STFT.PY（BSD 3條款許可證）
• 數據集/MEL2SAMP.PY來自https://github.com/nvidia/waveglow（BSD 3-CLAUSE許可證）
• 來自https://github.com/harryvolek/pytorch_speaker_verification（未指定許可證）的utils/hparams.py

有用的資源

• 如何訓練甘恩？使甘斯（Soumith Chintala）的技巧和技巧
• 原始作者的官方梅爾根實施
• 梅爾根（Melgan）的繁殖 - 2019年神經性挑戰（燒蝕軌道），Yifei Zhao，Yichao Yang和Yang Gao
  • “用最大合併層代替平均合併層並用複制填充代替反射填充可顯著改善性能，同時結合起來會產生較差的結果”