Transformer Text To Speech

变压器文字到语音

文本到语音（TTS）系统将普通语言文本转换为语音；其他系统将象征性的语言表示（例如语音转录到语音）。现在，随着深度学习的最新发展，可以将文本转换为可理解的声音。为此，文本被馈送到编码器型神经网络中，以输出MEL光谱图。现在，该MEL光谱图可用于使用“ Griffin-Lim算法”来生成音频。但是，由于它无法产生类似人类的语音质量，因此使用了名为wavenet的另一种神经网，它被Mel-Spectrogram馈送，以产生音频，即使人也无法区分。

模型架构

1。变压器TTS

• 用于并行训练的编码器 - 码头变压器体系结构，而不是用于TACOTRON-2的SEQ2SEQ训练。
• 文本作为输入发送，并且模型输出了MEL-SPECTROGRAM。
• 采用了多头注意的注意力，仅在解码器方面掩盖了因果掩蔽。
• 论文：具有变压器网络的神经语音综合。

2。Wavenet

*

• 变压器TTS（MEL-SPECTROGRAM）的输出被送入波纳特以生成音频样品。
• 与Seq2Seq型号不同，Wavenet还允许并行训练。
• 纸：WaveNet：原始音频的生成模型。

数据集信息

该模型接受了WMT-2014英语 - 德国数据集的一部分培训。在训练模型之前，进行了预处理。
数据集：https：//keithito.com/lj-speech-dataset/