Multi Singer

多彈奏：與大型語料庫的快速多弦歌唱聲音演唱器

Pytorch的（ACM MM'21）多弦：帶有大型語料庫的快速多弦樂語音演唱器。

要求

請參閱需求中的要求。 txt：

• Linux
• Python 3.6
• Pytorch 1.0+
• 天秤座
• JSON，TQDM，記錄

入門

將食譜應用於您自己的數據集

• 將任何WAV文件放在數據目錄中
• 在config/config.yaml中編輯配置

1。預告片

使用我們的檢查站，或
您還可以在此處自己訓練編碼器，並在config/config.yaml中設置enc_model_fpath 。請將params設置為encoder/params_data和encoder/params_model中的參數。

2。預處理

提取MEL光譜圖

 python preprocess . py - i data / wavs - o data / feature - c config / config . yaml

-i我的音頻文件夾

-o輸出聲學功能文件夾

-c配置文件

3。火車

訓練以MEL光譜圖為條件

 python train . py - i data / feature - o checkpoints / - - config config / config . yaml

-i聲學特徵文件夾

-o目錄保存檢查點

-c配置文件

4。推理

 python inference . py - i data / feature - o outputs /  - c checkpoints / * . pkl - g config / config . yaml

-i聲學特徵文件夾

-o目錄保存生成的語音

-c檢查點文件

-c配置文件

5。唱歌聲音綜合

用於唱歌的聲音綜合：

• 對MEL-SPECTROGRAM合成進行修改的FastSpeech 2
• 在多手點中使用合成的MEL光譜圖進行波形合成。

檢查點

在Opensinger上訓練

致謝

GE2E
FastSpeech 2
平行波甘

引用

 @inproceedings{huang2021multi,
  title={Multi-Singer: Fast Multi-Singer Singing Voice Vocoder With A Large-Scale Corpus},
  author={Huang, Rongjie and Chen, Feiyang and Ren, Yi and Liu, Jinglin and Cui, Chenye and Zhao, Zhou},
  booktitle={Proceedings of the 29th ACM International Conference on Multimedia},
  pages={3945--3954},
  year={2021}
}

問題

隨時通過[email protected]與我聯繫