cnn_vocoder

cnnvocoder

注：私はもうこのプロジェクトに取り組んでいません。 ＃9を参照してください。

CNNベースのボコーダー。

この作業は、マルチヘッドの畳み込みニューラルネットワークを使用して、高速分光学的反転で説明されているM-CNNモデルからインスピレーションを受けています。著者らは、単純なアップサンプリングネットワークでさえ、スペクトログラム/Mel-Spectrogramから波形を合成するのに十分であることを示しています。

このレポでは、メルスペクトログラム機能よりも多くの情報が含まれているため、トレーニングモデルにスペクトログラム機能を使用します。ただし、スペクトログラムからメルスペクトルグラムへの変換は単なる線形投影であるため、基本的には、メルスペクトルグラムからシンプルなネットワーク予測スペクトログラムをトレーニングできます。また、Parametersを変更して、メルスペクトル機能からボコーダーをトレーニングできるようにすることもできます。

サンプルオーディオ

アーキテクチャノート

M-CNNと比較すると、私の提案されているネットワークにはいくつかの違いがあります。

• 転置されたCONVレイヤーの代わりに、Upsampling + Convレイヤーを使用します。これにより、チェッカーボードのアーティファクトを防ぐのに役立ちます。
• このモデルは、アップサンプリングモジュールの後/後に多くの残留ブロックを使用して、ネットワークをより大きく/より深くします。
• 予測された波形とターゲット波形のログスケールSTFTマグナンス間でL1損失のみを使用しました。ログ空間での評価損失は、ラウドネスに関する人間の感覚に近いため、生のSTFTマグニチュさよりも優れています。 Spectrogram機能で損失を計算しようとしましたが、あまり役に立ちませんでした。

要件をインストールします

$ pip install -r requirements.txt

トレーニングボコーダー

1.データセットを準備します

実験にはljspeechデータセットを使用しています。まだお持ちでない場合は、データセットをダウンロードしてどこかに配置してください。

その後、コマンドを実行して、実験用のデータセットを生成できます。

$ python preprocessing.py --samples_per_audio 20  
--out_dir ljspeech 
--data_dir path/to/ljspeech/dataset 
--n_workers 4

2。トレーニングボコーダー

$ python train.py --out_dir ${output_directory}

その他のトレーニングオプションについては、実行してください。

$ python train.py --help

スペクトログラムからオーディオを生成します

• オーディオからスペクトログラムを生成します

$ python gen_spec.py -i sample.wav -o out.npz

• スペクトログラムからオーディオを生成します

$ python synthesis.py --model_path path/to/checkpoint 
                      --spec_path out.npz 
                      --out_path out.wav

事前に保護されたモデル

ここで私の訓練を受けたモデルを入手できます。

謝辞

この実装では、私のコードで説明されているように、Nvidia、Yamamoto、Yamamoto、Keith Itoのコードを使用しています。

ライセンス

mit