DeepConvolutionalTTS pytorch

DCTT（深卷卷TTS） - Pytorch实施

论文：基于深层卷积网络的有效训练的文本到语音系统，并引导着心

先决条件

• Python 3.6
• Pytorch 1.0
• 天秤座，scipy，tqdm，tensorboardx

数据集

• LJ语音1.1，女性单扬声器数据集。
• 我遵循Kyubyong的DCTTS回购，并带有TensorFlow，以预处理语音信号数据。它实际上效果很好。

用法

1. 下载上面的数据集并在config.py中修改路径。然后运行以下命令。第1 arg：信号prepro，第二个arg：元数据（火车/测试拆分）

    python prepro.py 1 1
   

2. DCTT有两个模型。首先，您应该训练Model Text2Mel。我认为20K步骤就足够了（仅一个小时）。但是，您应该越来越多地训练该模型，而引导的注意力丧失。

    python train.py 1 <gpu_id>
   

3. 其次，训练SSRN。 SSRN的输出是许多高分辨率数据。因此，培训SSRN比训练Text2Mel慢

    python train.py 2 <gpu_id>
   

4. 训练后，您可以从文本中综合一些语音。

    python synthesize.py <gpu_id>
   

注意力

• 在语音合成中，注意模块很重要。如果模型通常受过训练，那么您可以看到单调的注意力，如以下数字。

笔记

• 要做：以前的推理关注。
• 做：减轻过度拟合。
• 在论文中，他们没有提及归一化。因此，我使用了重量标准化，例如deepvoice3。
• 一些超参数不同。
• 如果要提高性能，则应使用所有数据。对于一些各种实验，我将训练集和验证集分开。

其他代码

• 另一个Pytorch实施
• TensorFlow实现