Multi Singer

多弹奏：与大型语料库的快速多弦歌唱声音演唱器

Pytorch的（ACM MM'21）多弦：带有大型语料库的快速多弦乐语音演唱器。

要求

请参阅需求中的要求。txt：

• Linux
• Python 3.6
• Pytorch 1.0+
• 天秤座
• JSON，TQDM，记录

入门

将食谱应用于您自己的数据集

• 将任何WAV文件放在数据目录中
• 在config/config.yaml中编辑配置

1。预告片

使用我们的检查站，或
您还可以在此处自己训练编码器，并在config/config.yaml中设置enc_model_fpath 。请将params设置为encoder/params_data和encoder/params_model中的参数。

2。预处理

提取MEL光谱图

 python preprocess . py - i data / wavs - o data / feature - c config / config . yaml

-i我的音频文件夹

-o输出声学功能文件夹

-c配置文件

3。火车

训练以MEL光谱图为条件

 python train . py - i data / feature - o checkpoints / - - config config / config . yaml

-i声学特征文件夹

-o目录保存检查点

-c配置文件

4。推理

 python inference . py - i data / feature - o outputs /  - c checkpoints / * . pkl - g config / config . yaml

-i声学特征文件夹

-o目录保存生成的语音

-c检查点文件

-c配置文件

5。唱歌声音综合

用于唱歌的声音综合：

• 对MEL-SPECTROGRAM合成进行修改的FastSpeech 2
• 在多手点中使用合成的MEL光谱图进行波形合成。

检查点

在Opensinger上训练

致谢

GE2E
FastSpeech 2
平行波甘

引用

 @inproceedings{huang2021multi,
  title={Multi-Singer: Fast Multi-Singer Singing Voice Vocoder With A Large-Scale Corpus},
  author={Huang, Rongjie and Chen, Feiyang and Ren, Yi and Liu, Jinglin and Cui, Chenye and Zhao, Zhou},
  booktitle={Proceedings of the 29th ACM International Conference on Multimedia},
  pages={3945--3954},
  year={2021}
}

问题

随时通过[email protected]与我联系