Multi Singer

マルチシンガー：大規模なコーパスを備えた高速マルチシンガー歌声ボコーダー

（ACM MM'21）マルチシンガーのPytorch実装：大規模なコーパスを備えた高速マルチシンガー歌声ボコーダー。

要件

要件の要件を参照してください。txt：

• Linux
• Python 3.6
• Pytorch 1.0+
• リブーザ
• JSON、TQDM、ロギング

はじめる

独自のデータセットにレシピを適用します

• wavファイルをデータディレクトリに配置します
• config/config.yamlで構成を編集します

1。プレレイン

チェックポイントを使用します
また、ここで自分でエンコーダーをトレーニングし、config/config.yamlでenc_model_fpathを設定することもできます。 Paramsをencoder/params_dataおよびencoder/params_modelのものとして設定してください。

2。プレアセス

メルスペクトルグラムを抽出します

 python preprocess . py - i data / wavs - o data / feature - c config / config . yaml

-iあなたのオーディオフォルダーです

-o出力アコースティック機能フォルダー

-c構成ファイル

3。トレイン

メルスペクトルグラムを調整したトレーニング

 python train . py - i data / feature - o checkpoints / - - config config / config . yaml

-iアコースティック機能フォルダー

-oチェックポイントを保存するディレクトリ

-c構成ファイル

4。推論

 python inference . py - i data / feature - o outputs /  - c checkpoints / * . pkl - g config / config . yaml

-iアコースティック機能フォルダー

-o生成された音声を保存するためのディレクトリ

-cチェックポイントファイル

-c構成ファイル

5。音声統合を歌います

音声統合を歌うために：

• メルスペクトルグラム合成については、修正されたfastspeech 2を取ります
• 波形合成のためにマルチシンガーで合成されたメルスペクトルグラムを使用します。

チェックポイント

OpenSingerで訓練されています

謝辞

Ge2e
FastSpeech 2
パラレルウェーブガン

引用

 @inproceedings{huang2021multi,
  title={Multi-Singer: Fast Multi-Singer Singing Voice Vocoder With A Large-Scale Corpus},
  author={Huang, Rongjie and Chen, Feiyang and Ren, Yi and Liu, Jinglin and Cui, Chenye and Zhao, Zhou},
  booktitle={Proceedings of the 29th ACM International Conference on Multimedia},
  pages={3945--3954},
  year={2021}
}

質問

[email protected]までお気軽にお問い合わせください