german tts

德语-tts

tf Lite推理的张​​力量中的德国TACOTRON 2和多频段梅尔根（Tensorflow）

致谢

Google通过提供Google Cloud信用来支持这项工作。谢谢Google支持开源！ ？

概述

我正在释放鉴定的德国神经文本到语音（TTS）模型Tacotron 2和多波段梅尔根。它支持saved_model和TF Lite格式的推断，所有模型都可以在TensorFlow Hub上找到。

在讨论中打个招呼，如果您觉得对任何事情有用。

• 请参阅inference.py用saved_model推断。
• 请参阅TF Lite推断inference_tflite.py 。
• 请参阅e2e-notebook.ipynb检查我如何导出这些模型格式。
• 请参阅发行版以下载预验证的模型。

数据集

我在ThorstenMüller的Thorsten数据集上训练了这些模型。它是根据Creative Commons Zero V1通用（CC0）的条款获得许可的，该条款完全选择了版权，并确保作品具有最广泛的影响力。感谢@thorstenmueller为社区做出了巨大的贡献。

笔记

一些好人在TensorsPeech/Tensorflowtts上做得很好，该公司已经支持英语，中文和韩语。我想在支持德语并培训这些模型的支持下做出贡献。现在，它支持适当的处理器培训和推断。详细的博客文章将随访，但目前有一些快速笔记：

• 我利用德语transliterate进行文本预处理。基本上，它归一化数字（例如将数字转换为单词），扩大缩写并关注德国的umlauts和标点。对于在此存储库中发布的推论示例，它是张曲flow的唯一依赖性。
• 您需要将输入文本转换为数值ID，以供应模型。我将在推理示例中为此分享一个参考实现，您需要对此逻辑进行编码以在非Python环境（例如Android）中使用这些模型。
• Tacotron 2最后产生一些噪音，您需要将其切断。同样，推论示例显示了如何做到这一点。
• 我将Multi-band MelGAN导出到TF Lite而没有进行优化，因为当我以默认情况导出时，它产生了一些背景噪声。我在Tacotron 2中使用了默认优化。
• 我在这里发布的saved_model格式不适合填充。体系结构实现使用Tensorflow 2.x中的Subclassing API ，并在训练过程中获取用于教师强迫的call方法中的多个输入。导出到saved_model和我在导出之前必须删除此逻辑时，这会引起一些问题。如果您想获得FineTune型号，请参阅我的TensorFlowTtt叉。

执照

您可以根据Apache 2.0许可证的条款使用这些验证的模型工件和代码示例。另一方面，您可能需要在我的个人资料中显示的电子邮件地址中与我联系，以获取语音和/或NLP项目中的付费咨询和/或协作。