Parallel Tacotron2

平行tacotron2

Google的平行Tacotron 2的Pytorch实现：一种具有可区分持续时间建模的非自动回忆性神经TTS模型

更新

• 2021.05.25： Only the soft-DTW remains the last hurdle!遵循作者对实施的建议，我在每个模块上对每个模块进行了几次测试，并在有L1损失的监督持续时间信号下（fastspeech2）进行了几次测试。到目前为止，我可以确认除了Soft-DTW之外的所有模块都可以正常运行（合成的频谱图，GT频谱图，残留对齐和W从上到下的缩放）。

  

  有关详细信息，请检查最新的提交日志和更新的实现问题部分。另外，您可以在https://github.com/keonlee9420/fastspeech2/commits/ptaco2上找到正在进行的实验。

• 2021.05.15：实施完成。理智检查培训和推理。但是模型仍然无法收敛。

  I'm waiting for your contribution!如果您在我的实施中发现任何错误或成功培训模型的任何有价值的建议，请告知我。请参阅“实施问题”部分。

训练

要求

• 您可以使用

  pip3 install -r requirements.txt

• 安装FairSeq（官方文档，GitHub）以利用LConvBlock 。请检查＃5以解决安装时的任何问题。

数据集

支持的数据集：

• LJSpeech：单扬声器英语数据集由13100个女演讲者的简短音频剪辑组成，其中7本非小说类书籍的阅读段落总共约24小时。
• （将添加更多）

预处理

下载数据集后，在preprocess.yaml中设置corpus_path并运行准备脚本：

 python3 prepare_data.py config/LJSpeech/preprocess.yaml

然后，运行预处理脚本：

 python3 preprocess.py config/LJSpeech/preprocess.yaml

训练

培训您的模型

 python3 train.py -p config/LJSpeech/preprocess.yaml -m config/LJSpeech/model.yaml -t config/LJSpeech/train.yaml

该模型尚未收敛。我正在调试，但是如果您的出色贡献准备就绪，它将得到提高！

推理

推理

对于单个推论，运行

 python3 synthesize.py --text "YOUR_DESIRED_TEXT" --restore_step 900000 --mode single -p config/LJSpeech/preprocess.yaml -m config/LJSpeech/model.yaml -t config/LJSpeech/train.yaml

生成的话语将保存在output/result/ 。

批次推理

也支持批次推理，尝试

 python3 synthesize.py --source preprocessed_data/LJSpeech/val.txt --restore_step 900000 --mode batch -p config/LJSpeech/preprocess.yaml -m config/LJSpeech/model.yaml -t config/LJSpeech/train.yaml

综合preprocessed_data/LJSpeech/val.txt中的所有话语。

张板

使用

 tensorboard --logdir output/log/LJSpeech

在您的本地主机上提供张板。

实施问题

总体而言，原始论文中未提出的归一化或激活已充分排列，以防止向前和向后计算上的NAN值（梯度）。 （NAN表示网络中有问题）

文本编码器

1. 将FastSpeech2的FFTBlock用于文本编码器的变压器块。
2. 使用辍学0.2进行文本编码器的ConvBlock 。
3. 恢复“专有标准化引擎”，
   • 应用与FastSpeech2中相同的文本归一化。
   • 实现grapheme_to_phoneme函数。 （请参阅./text/ init ）。

残留编码器

1. 使用80 channels MEL-SPECTROGROM而不是128-bin 。
2. 常规的正弦位置嵌入用于框架级别，而不是平行TaCotron中三个位置嵌入的组合。由于该模型完全取决于该位置的无监督学习，因此此选择可能是模型收敛失败的原因。

持续时间预测指标和学会的上采样

1. 使用nn.SiLU()进行旋转激活。
2. 在获得W和C E ，在S框架域（t域）广播V V应用串联操作。

解码器

1. 使用LConvBlock和常规的正弦位置嵌入。
2. 迭代的MEL光谱图由线性层投影。
3. 将nn.Tanh()应用于每个LConvBLock输出（遵循fastspeech2中解码器部分的激活模式）。

损失

1. 使用FastSpeech2的优化和调度程序（正如原始论文所述所需的全部所需的一切）。
2. 基于pytorch-softdtw-cuda（帖子），用于软dtw。
   1. 在model/soft_dtw_cuda.py中实现定制的软dtw，反映了原始论文中建议的递归。
   2. 在原始的soft-dtw中，不假定最终损失，因此仅计算E 。但是用作损失函数，添加了雅各布产品以返回R WRT输入X的目标衍生物。
   3. 目前，由于软dtw损耗中的空间复杂性问题，最大批量8为24GIB GPU（TITAN RTX）。
      • 在原始论文中，实施了自定义的对角线频段操作并用于解决O（t^2）的复杂性，但是目前尚未在当前实现中探索此部分。

引用

 @misc{lee2021parallel_tacotron2,
  author = {Lee, Keon},
  title = {Parallel-Tacotron2},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/keonlee9420/Parallel-Tacotron2}}
}

参考

• Ming024的FastSpeech2（晚于2021.02.26 VER。
• 平行TACOTRON：非自动回旋和可控的TTS
• 平行TACOTRON 2：具有可区分持续时间建模的非自动回忆神经TTS模型