TTS Tacotron Pytorch

TACOTRON

Google的Tacotron语音合成网络的Pytorch实现。

该实现还包括对位置敏感的关注以及Tacotron 2的停止令牌功能。

此外，使用训练的模型在LJ语音数据集上进行了培训。

可以在结果目录中找到音频样本。

介绍

该实现基于R9Y9/Tacotron_pytorch，主要区别是：

• 增加了对位置敏感的关注，并从TaCotron 2纸上的停止令牌。这可以大大减少培训模型所需的时间和数据。
• 删除R9Y9使用的所有TensorFlow依赖性，现在仅在Pytorch和Pytorch上运行。
• 添加一个损失模块，并使用L2（MSE）损失而不是L1损失。
• 添加了一个数据加载器模块。
• 合并Keithito的LJ语音数据预处理脚本。
• 代码分解和优化，以便于调试和扩展。

此外，与原始的Tacotron纸有一些差异是：

• 预测每个解码器步骤，而不是r = 2，预测r = 5个非重叠的连续式外帧。
• 将所有R帧馈送到下一个解码器输入步骤，而不仅仅是R帧的最后帧。
• 缩放预测线性光谱图上的损失，以使与人类语音（0至3000 Hz）相对应的较低频率重量更大。
• 没有在序列到序列学习中使用损失面具，这迫使模型学习何时停止合成。
• 禁用CBHG模块中的一维卷积单元的偏差。这些实现细节有助于模型的收敛。

音频质量还不如Google的演示，但希望最终会有所改善。欢迎拉动请求！

快速开始

设置

• 克隆此仓库： git clone [email protected]:andi611/Tacotron-Pytorch.git
• CD进入此存储库： cd Tacotron-Pytorch

安装依赖项

1. 安装Python 3。

2. 根据您的平台安装最新版本的Pytorch 。为了获得更好的性能，请在可行的情况下使用GPU支持（CUDA）安装。该代码可与Pytorch 0.4及更高版本一起使用。

3. 安装要求：

    pip3 install -r requirements.txt
   

   警告：您需要根据平台安装火炬。这里列出构建此项目时使用的Pytorch版本。

训练

1. 下载LJ语音数据集。

   • LJ演讲

   如果将其他数据集转换为正确的格式，则可以使用其他数据集。有关更多信息，请参见triaze_data.md。

2. 将数据集解开为~/Tacotron-Pytorch/data

   解开包装后，您的树应该像这样的LJ演讲：

    |- Tacotron-Pytorch
   	 |- data
   		 |- LJSpeech-1.1
   			 |- metadata.csv
   			 |- wavs
   

3. 预处理LJ语音数据集，并使用Preprocess.py制作模型的元文件：

    python3 preprocess.py --mode make
   

   预处理后，您的树看起来像这样：

    |- Tacotron-Pytorch
   	 |- data
   		 |- LJSpeech-1.1 (The downloaded dataset)
   			 |- metadata.csv
   			 |- wavs
   		 |- meta (generate by preprocessing)
   			 |- meta_text.txt 
   			 |- meta_mel_xxxxx.npy ...
   			 |- meta_spec_xxxxx.npy ...
   		 |- test_transcripts.txt (provided)
   

4. 使用train.py训练模型

    python3 train.py --ckpt_dir ckpt/ --log_dir log/
   

   从以前的检查站恢复培训：

    python3 train.py --ckpt_dir ckpt/ --log_dir log/ --model_name 500000
   

   可调超参数可在config.py中找到。

   您可以通过编辑文件来调整这些参数并设置设置，建议使用默认的超参数用于LJ语音。

5. 用张板监视（可选）

    tensorboard --logdir 'path to log_dir'
   

   培训师默认情况下每2000个步骤一次倾倒音频和对齐。您可以在tacotron/ckpt/中找到这些。

测试：使用预训练的模型和Test.py

• 以交互式模式运行测试环境：

   python3 test.py --interactive --plot --model_name 500000
  

• 在一组成绩单上运行测试算法（结果可以在结果/500000目录中找到）：

   python3 test.py --plot --model_name 500000 --test_file_path ./data/test_transcripts.txt
  

致谢

Yamamoto Ryuichi的归功于Tacotron的出色pytorch实施，这项工作主要基于。这项工作还受到NVIDIA的Tacotron 2 Pytorch实施的启发。

托多

• 添加更多可配置的HPARAMS