MelNet

梅内特

Melnet的实现：频域中音频的生成模型

先决条件

• 用Python 3.6.8＆3.7.4，Pytorch 1.2.0＆1.3.0测试。
• pip install -r requirements.txt

如何训练

数据集

• 暴雪，voxceleb2和KSS在config/中提供了YAML文件。对于其他数据集，请根据其他提供的文件填写自己的YAML文件。
• 对于各种数据集，可以进行无条件的培训，前提是它们具有data.extension在yaml文件中指定的一致的文件扩展名。
• 目前仅针对KSS和暴雪数据集的一部分实施有条件的培训。

运行代码

• python trainer.py -c [config YAML file path] -n [name of run] -t [tier number] -b [batch size] -s [TTS]
  • 每个层都可以单独训练。由于每个层大于之前的层（除1层外），请修改每个层的批处理大小。
    • 暴雪数据集的第6层也不适合16GB P100，即使批量为1。
  • -s标志是确定是否训练TTS层的布尔值。由于TTS层仅在第1层上有所不同，因此当[tier number] != 0时，该标志将被忽略。警告：无论标志以下是什么，这个标志都被切换为True 。如果您不打算使用它，请忽略它。

如何采样

准备检查点

• 检查点必须存储在chkpt/ 。
• 必须在config/下提供一个名为inference.yaml的yaml文件。
• inference.yaml必须指定层数，检查点的名称以及是否是有条件的生成。

运行代码

• python inference.py -c [config YAML file path] -p [inference YAML file path] -t [timestep of generated mel spectrogram] -n [name of sample] -i [input sentence for conditional generation]
  • 时间段是指MEL频谱图的长度。时间段与秒的比率大致[sample rate] : [hop length of FFT] 。
  • -i标志是可选的，仅需要有条件生成。用""和结束. 。
  • 当前无条件的生成和有条件的生成都不支持启动生成（从提供的数据推断出来）。

待办事项

• 实施提高采样过程
• GMM采样 +损耗功能
• 无条件的音频产生
• TTS合成
• 张板记录
• 多GPU培训
• 启动一代

实施作者

• Seungwon Park，June Young Yi，Yoonhyhyung Lee，Joowhan Song @ Deep Season 6

执照

麻省理工学院许可证