melgan

梅尔根

梅尔根声码器的非正式Pytorch实施

关键功能

• 梅尔根（Melgan）比浪潮（Wavellow）轻，更快，更能概括看不见的扬声器。
• 此存储库使用来自NVIDIA/TACOTRON2的相同MEL光谱图函数，因此可以直接用于将NVIDIA TACOTRON2的输出转换为Raw-Audio。
• 通过Pytorch Hub在LJSpeech-1.1上进行了预估计的模型。

先决条件

在Python 3.6上测试

pip install -r requirements.txt

准备数据集

• 下载数据集进行培训。这可以是带有样本率为22050Hz的任何WAV文件。 （例如，在纸上使用LJSpeech）
• 预处理： python preprocess.py -c config/default.yaml -d [data's root path]
• 编辑配置yaml文件

火车和张板

• python trainer.py -c [config yaml file] -n [name of the run]
  • cp config/default.yaml config/config.yaml ，然后编辑config.yaml
  • 将火车/验证文件的根路径写入第二/第三行。
  • 每条路径应包含对相应（预处理） *.mel文件的*.wav对。
  • 数据加载程序在路径中递归中解析文件列表。
• tensorboard --logdir logs/

预验证的模型

尝试Google Colab：todo

 import torch
vocoder = torch . hub . load ( 'seungwonpark/melgan' , 'melgan' )
vocoder . eval ()
mel = torch . randn ( 1 , 80 , 234 ) # use your own mel-spectrogram here

if torch . cuda . is_available ():
    vocoder = vocoder . cuda ()
    mel = mel . cuda ()

with torch . no_grad ():
    audio = vocoder . inference ( mel )

推理

• python inference.py -p [checkpoint path] -i [input mel path]

结果

请参阅以下网址：http：//swpark.me/melgan/。使用LJSpeech-1.1在V100 GPU进行了14天的培训。

实施作者

• Seungwon Park@Mindslab Inc.（[email protected]，[email protected]）
• Myunchul Joe @ MindSlab Inc.
• Rishikesh @ DeepSync Technologies Pvt Ltd.

执照

BSD 3条规定许可证。

• Prem Seetharaman的UTIT/STFT.PY（BSD 3条款许可证）
• 数据集/MEL2SAMP.PY来自https://github.com/nvidia/waveglow（BSD 3-CLAUSE许可证）
• 来自https://github.com/harryvolek/pytorch_speaker_verification（未指定许可证）的utils/hparams.py

有用的资源

• 如何训练甘恩？使甘斯（Soumith Chintala）的技巧和技巧
• 原始作者的官方梅尔根实施
• 梅尔根（Melgan）的繁殖 - 2019年神经性挑战（烧蚀轨道），Yifei Zhao，Yichao Yang和Yang Gao
  • “用最大合并层代替平均合并层并用复制填充代替反射填充可显着改善性能，同时结合起来会产生较差的结果”