Transformer TTS

变压器-TT

• 通过变压器网络的神经语音综合实施的Pytorch实施
• 该模型的训练速度可以比著名的SEQ2SEQ模型（如Tacotron）快3到4倍，而合成语音的质量几乎相同。通过实验证实，每步大约需要0.5秒。
• 我没有使用WaveNet Vocoder，而是使用TACOTRON的CBHG模型学习了邮政网络，并使用Griffin-Lim算法将频谱图转换为原始波。

要求

• 安装Python 3
• 安装pytorch == 0.4.0
• 安装要求：

   pip install -r requirements.txt
  

数据

• 我使用了由文本脚本和WAV文件对组成的LJSpeech数据集。可以在此处下载完整的数据集（13,100对）。我转介https://github.com/keithito/tacotron和https://github.com/kyubyong/dc_ttts用于预处理代码。

预验证的模型

• 您可以在此处下载预告片的型号（AR模型为160K / postnet 100k）
• 在检查点/目录处找到验证的模型。

注意图

• 大约15K步骤后出现对角线对齐。下面的注意力图是160k步骤。图代表了所有层的多头注意。在此实验中，H = 4用于三个注意层。因此，为每个编码器，解码器和编码器描述器绘制了12个注意图。除解码器外，只有几个多头显示对角线比对。

自我注意编码器

自我关注的解码器

注意编码器编码器

学习曲线和alpha

• 我使用了NOAM风格的热身和衰减与Tacotron一样

• 缩放位置编码的α值与论文不同。在本文中，编码器的α值增加到4，而在本实验中，它在开始时略有增加，然后连续下降。自一开始以来，解码器alpha一直在稳步下降。

实验笔记

1. 学习率是培训的重要参数。初始学习率为0.001，指数衰减无效。
2. 梯度剪辑也是训练的重要参数。我用规范值1剪切了梯度。
3. 随着停止令牌损失，该模型没有训练。
4. 在注意机制中加入输入和上下文向量非常重要。

生成的样品

• 您可以在下面检查一些生成的样本。所有样本均以160K的速度步进，因此我认为该模型尚未融合。在长句子中，该模型似乎是较低的性能。

  • 样本1
  • 样本2
  • 样本3

• 第一个图是预测的MEL频谱图，第二个是地面真相。

文件说明

• hyperparams.py包含所有需要的超级参数。
• prepare_data.py预处理wav文件到MEL，线性光谱图并保存它们以获取更快的训练时间。文本的预处理代码在文本/目录中。
• 加载数据时， preprocess.py包括所有预处理代码。
• module.py包含所有方法，包括注意力，Prenet，Postnet等。
• network.py包含网络，包括编码器，解码器和后处理网络。
• train_transformer.py用于培训自回旋的注意力网络。 （文字 - > mel）
• train_postnet.py用于培训后网络。 （梅尔 - >线性）
• synthesis.py用于生成TTS样品。

培训网络

• 步骤1。在所需的任何目录中下载并提取LJSpeech数据。
• 步骤2。在hyperparams.py中调整超参数，尤其是“ data_path”，这是您提取文件的目录，以及如有必要的目录。
• 步骤3。运行prepare_data.py 。
• 步骤4。运行train_transformer.py 。
• 步骤5。运行train_postnet.py 。

生成TTS WAV文件

• 步骤1。运行synthesis.py 。确保还原步骤。

参考

• Keith Ito：https：//github.com/keithito/tacotron
• Kyubyong公园：https：//github.com/kyubyong/dc_tts
• jadore801120：https：//github.com/jadore801120/astention-is-is-all-you-need-pytorch/

评论

• 总是欢迎对代码的任何评论。