Robust_Fine_Grained_Prosody_Control

端到端语音综合的强大而细粒度的韵律控制（带有浪潮）

强大而细粒度的端到端语音综合控制（非官方）的强大和细粒度的韵律控制

此实现使用库列特数据集。

笔记

1. 开发分支：带有多座的Tacotron2（扬声器嵌入）。说话者信息仅由解码器模块消耗，而注意模块没有看到任何内容（作为作者的意图）。
2. text_side分支：文本侧韵律控制模型实现。
3. 语音侧韵律控制和韵律归一化不是在当前版本中实现的，但是您可以简单地将它们添加到上述分支的顶部。

先决条件

1. nvidia gpu + cuda cudnn

设置

1. 下载并提取Libsitts数据集
2. 克隆此仓库： git clone https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control.git
3. CD进入此仓库： cd Robust_Fine_Grained_Prosody_Control
4. 初始化subsodule： git submodule init; git submodule update
5. 更新.wav路径： sed -i -- 's,/home/keon/speech-datasets/LibriTTS_preprocessed/train-clean-100/,your_libritts_dataset_folder/,g' filelists/*.txt
   • 另外，设置load_mel_from_disk=True in hparams.py和更新mel-spectragram路径
6. 安装Pytorch 1.0
7. 安装顶点
8. 安装Python要求或构建Docker Image
   • 安装Python要求： pip install -r requirements.txt

训练

1. python train.py --output_directory=outdir --log_directory=logdir
2. （可选） tensorboard --logdir=outdir/logdir

使用预训练的模型培训

（TBD）

多GPU（分布式）和自动混合精度训练

1. 当前实施不支持。

推理

1. 单个样本： python inference.py -c checkpoint/path -r reference_audio/wav/path -t "synthesize text"
2. 多样本： python inference_all.py -c checkpoint/path -r reference_audios/dir/path

NB执行MEL光谱图与音频合成时，请确保对Tacotron 2和MEL解释器进行相同的MEL光谱图表示。

引用

 @misc{lee2021robust_fine_grained_prosody_control,
  author = {Lee, Keon},
  title = {Robust_Fine_Grained_Prosody_Control},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control}}
}

相关存储库

波格综合的速度比实时流量的生成网络快速综合语音综合

NV-Wavenet的速度比实时磁带快。

致谢

该实现使用以下存储库中的代码：NVIDIA/TACOTRON-2，KINGLITTERQ/GST-TACOTRON

我们感谢论文作者，特别是Younggun Lee和Taesu Kim。