vocal remover

ボーカルリムーバー

これは、曲から楽器トラックを抽出するための深い学習ベースのツールです。

インストール

ボーカルリムーバーを取得します

ここから最新バージョンをダウンロードしてください。

Pytorchをインストールします

参照：始めましょう

他のパッケージをインストールします

 cd vocal-remover
pip install -r requirements.txt

使用法

次のコマンドは、入力をインストルメンタルトラックとボーカルトラックに分離します。それらは*_Instruments.wavおよび*_Vocals.wavとして保存されます。

CPUで実行します

 python inference.py --input path/to/an/audio/file

GPUで実行します

 python inference.py --input path/to/an/audio/file --gpu 0

高度なオプション

--ttaオプションは、テスト時間の高度を実行して、分離品質を向上させます。

 python inference.py --input path/to/an/audio/file --tta --gpu 0

--postprocessオプションは、ボーカルボリュームに基づいてインストゥルメンタルパーツをマスクして、分離品質を向上させます。

警告

これは実験機能です。このオプションで問題が発生した場合は、無効にしてください。

 python inference.py --input path/to/an/audio/file --postprocess --gpu 0

独自のモデルを訓練します

データセットを配置します

 path/to/dataset/
  +- instruments/
  |    +- 01_foo_inst.wav
  |    +- 02_bar_inst.mp3
  |    +- ...
  +- mixtures/
       +- 01_foo_mix.wav
       +- 02_bar_mix.mp3
       +- ...

モデルを訓練します

 python train.py --dataset path/to/dataset --mixup_rate 0.5 --reduction_rate 0.5 --gpu 0

参照

• [1] Jansson et al。、「ディープUネットの畳み込みネットワークでの声の分離」、https：//ejhumphrey.com/assets/pdf/jansson2017sing.pdf
• [2] Takahashi et al。、「オーディオソース分離のためのマルチスケールマルチバンドデンセン」、https：//arxiv.org/pdf/1706.09588.pdf
• [3] Takahashi et al。、「Mmdenselstm：オーディオソース分離のための畳み込みと再発性のニューラルネットワークの効率的な組み合わせ」、https://arxiv.org/pdf/18055.02410.pdf
• [4] Choi et al。、「深い複雑なU-Netによる位相認識音声強化」、https：//openreview.net/pdf?id=skertsacym
• [5] jansson et al。、「マルチインストゥルメントソース分離のための複雑なマスク」、https：//arxiv.org/pdf/2103.12864.pdf
• [6] Liutkus et al。、「2016年の信号分離評価キャンペーン」、潜在変数分析と信号分離-12th International Conference