Transformer TTS

トランスTTS

• トランスネットワークを使用した神経音声合成のPytorchの実装
• このモデルは、タコトロンのようなよく知られているSEQ2SEQモデルよりも約3〜4倍高速にトレーニングでき、合成された音声の品質はほぼ同じです。実験を通じて、ステップごとに約0.5秒かかったことが確認されました。
• Wavenet Vocoderを使用しませんでしたが、TacotronのCBHGモデルを使用してPost Networkを学習し、Griffin-LIMアルゴリズムを使用してスペクトログラムをRaw Waveに変換しました。

要件

• Python 3をインストールします
• pytorch == 0.4.0をインストールします
• 要件をインストールする：

   pip install -r requirements.txt
  

データ

• テキストスクリプトとWAVファイルのペアで構成されるljspeechデータセットを使用しました。完全なデータセット（13,100ペア）はここからダウンロードできます。私は、https://github.com/keithito/tacotronおよびhttps://github.com/kyubyong/dc_ttsを前処理コードについて紹介しました。

事前に保護されたモデル

• ここから前払いモデルをダウンロードできます（ARモデルの場合は160K /ポストネットの場合は100K）
• CheckPoint/ Directoryで前提型モデルを見つけます。

注意プロット

• 約15kステップ後に対角線アライメントが表示されました。以下の注意プロットは16万ステップです。プロットは、すべてのレイヤーのマルチヘッドの注意を表しています。この実験では、H = 4が3つの注意層に使用されます。したがって、エンコーダー、デコーダー、エンコーダーデコーダーごとに12の注意プロットが描画されました。デコーダーを除き、斜めのアライメントを示したマルチヘッドはごくわずかです。

自己注意エンコーダー

自己注意デコーダー

注意エンコーダーデコーダー

学習曲線とアルファ

• 私はタコトロンと同じようにノームスタイルのウォームアップと崩壊を使用しました

• スケーリングされた位置エンコードのアルファ値は、論文とは異なります。論文では、エンコーダーのアルファ値は4に増加しますが、現在の実験では、最初はわずかに増加し、その後連続的に減少しました。デコーダーアルファは、最初から着実に減少しています。

実験ノート

1. 学習率は、トレーニングにとって重要なパラメーターです。初期学習率は0.001で、指数関数的に減衰は機能しません。
2. グラデーションクリッピングは、トレーニングの重要なパラメーターでもあります。勾配を標準値1でクリップしました。
3. トークンの損失が停止したため、モデルはトレーニングしませんでした。
4. 注意メカニズムの入力およびコンテキストベクトルを連結することが非常に重要でした。

生成されたサンプル

• 以下の生成されたサンプルを確認できます。すべてのサンプルは160kのステップであるため、モデルはまだ収束していないと思います。このモデルは、長い文のパフォーマンスが低いようです。

  • サンプル1
  • サンプル2
  • サンプル3

• 最初のプロットは予測されたMELスペクトログラムで、2つ目はグラウンドトゥルースです。

ファイルの説明

• hyperparams.pyには、必要なすべてのハイパーパラメーターが含まれています。
• prepare_data.py preprocess wavファイルはmel、線形スペクトログラムにファイルを送り、より速いトレーニング時間のためにそれらを保存します。テキストの前処理コードはテキスト/ディレクトリにあります。
• preprocess.pyは、データをロードするときにすべての前処理コードが含まれます。
• module.pyには、注意、プレネット、ポストネットなどのすべての方法が含まれています。
• network.pyには、エンコーダー、デコーダー、ポストプロセッシングネットワークなどのネットワークが含まれています。
• train_transformer.pyは、オートレーフオーテストアテンションネットワークをトレーニングするためのものです。 （テキスト - >メル）
• train_postnet.pyは、ポストネットワークをトレーニングするためのものです。 （メル - >線形）
• synthesis.pyは、TTSサンプルを生成するためのものです。

ネットワークのトレーニング

• ステップ1。必要な任意のディレクトリでljspeechデータをダウンロードして抽出します。
• ステップ2。HyperParams.pyのハイパーhyperparams.py 、特にファイルを抽出するディレクトリである「data_path」、および必要に応じてその他を調整します。
• ステップ3。PREPARE_DATA.pyをprepare_data.pyします。
• ステップ4。Train_transformer.pyをtrain_transformer.pyします。
• ステップ5。Train_PostNet.py train_postnet.py実行します。

TTS WAVファイルを生成します

• ステップ1。Synthesis.pyをsynthesis.pyします。復元ステップを確認してください。

参照

• Keith Ito：https：//github.com/keithito/tacotron
• Kyubyong Park：https：//github.com/kyubyong/dc_tts
• jadore801120：https：//github.com/jadore801120/attention-is-all-you-need-pytorch/

コメント

• コードへのコメントはいつでも大歓迎です。