MelNet

メルネット

Melnetの実装：周波数ドメインでのオーディオの生成モデル

前提条件

• Python 3.6.8および3.7.4、Pytorch 1.2.0および1.3.0でテストしました。
• pip install -r requirements.txt

トレーニング方法

データセット

• Blizzard、VoxceleB2、およびKSSには、 config/の下で提供されるyamlファイルがあります。他のデータセットについては、他のデータセットに従って独自のYAMLファイルに記入してください。
• YAMLファイル内のdata.extensionによって指定された一貫したファイル拡張機能がある場合、あらゆる種類のデータセットでは無条件のトレーニングが可能です。
• 条件付きトレーニングは現在、KSSとBlizzardデータセットのサブセットに対してのみ実装されています。

コードを実行します

• python trainer.py -c [config YAML file path] -n [name of run] -t [tier number] -b [batch size] -s [TTS]
  • 各層は別々にトレーニングできます。各ティアは（ティア1を除く）前のティアよりも大きいため、各層のバッチサイズを変更します。
    • Blizzardデータセットのティア6は、バッチサイズが1の場合でも、16GB P100には収まりません。
  • -sフラグは、TTS層をトレーニングするかどうかを判断するためのブール値です。 TTSティアはティア1でのみ異なるため、 [tier number] != 0の場合、このフラグは無視されます。警告：このフラグは、フラグに続くものに関係なくTrue切り替えられます。使用する予定がない場合は無視してください。

サンプリング方法

チェックポイントの準備

• チェックポイントは、 chkpt/の下に保存する必要があります。
• inference.yamlという名前のyamlファイルは、 config/で提供する必要があります。
• inference.yaml 、層の数、チェックポイントの名前、およびそれが条件付き生成であるかどうかを指定する必要があります。

コードを実行します

• python inference.py -c [config YAML file path] -p [inference YAML file path] -t [timestep of generated mel spectrogram] -n [name of sample] -i [input sentence for conditional generation]
  • タイムステップは、MELスペクトログラムの長さを指します。タイムステップと秒の比率は、ほぼ[sample rate] : [hop length of FFT]です。
  • -iフラグはオプションであり、条件付き生成にのみ必要です。 ""で文を囲み、終わります. 。
  • 無条件の生成と条件付きの両方の生成は、現在、プライミングされた世代をサポートしていません（提供されたデータからの外挿）。

やる

• アップサンプリング手順を実装します
• GMMサンプリング +損失関数
• 無条件のオーディオ生成
• TTS合成
• テンソルボードロギング
• マルチGPUトレーニング
• プライミングされた世代

実装著者

• スンウォンパーク、ジューンヤングイ、ユンヒョンリー、ジュウハンソング @ディープシーズン6

ライセンス

MITライセンス