Transformer Text To Speech

トランステキストから音声

テキストからスピーチ（TTS）システムは、通常の言語テキストを音声に変換します。他のシステムは、音声転写などの象徴的な言語表現を音声に変えます。現在、深い学習の最近の開発により、テキストを人間に理解できない声に変換することが可能です。このため、テキストはエンコーダーデコーダータイプのニューラルネットワークに供給され、メルスペクトルグラムを出力します。このメルスペクトルグラムを使用して、「Griffin-Limアルゴリズム」を使用してオーディオを生成できるようになりました。しかし、人間のような音声品質を生成できないという不利な点のため、Wavenetという名前の別のニューラルネットが採用されています。これは、人間でさえ区別できないオーディオを生成するためにメルスペクトルで供給されます。

モデルアーキテクチャ

1。トランスTTS

• タコトロン-2の場合、SEQ2SEQトレーニング用の代わりに代わりに並列トレーニング用のエンコーダーデコーダートランスアーキテクチャ。
• テキストは入力として送信され、モデルはメルスペクトルグラムを出力します。
• デコーダー側にのみ因果マスキングがあり、多目的注意が採用されています。
• 論文：トランスネットワークを使用したニューラル音声合成。

2。Wavenet

*

• トランスTTS（Mel-Spectrogram）の出力はWavenetに供給され、オーディオサンプルを生成します。
• SEQ2SEQモデルとは異なり、Wavenetは並列トレーニングも許可します。
• 論文：Wavenet：生のオーディオの生成モデル。

データセット情報

このモデルは、WMT-2014 English-German Datasetのサブセットでトレーニングされました。前処理は、モデルをトレーニングする前に実行されました。
データセット：https：//keithito.com/lj-sweech-dataset/