german tts

德語-tts

tf Lite推理的張​​力量中的德國TACOTRON 2和多頻段梅爾根（Tensorflow）

致謝

Google通過提供Google Cloud信用來支持這項工作。謝謝Google支持開源！ ？

概述

我正在釋放鑑定的德國神經文本到語音（TTS）模型Tacotron 2和多波段梅爾根。它支持saved_model和TF Lite格式的推斷，所有模型都可以在TensorFlow Hub上找到。

在討論中打個招呼，如果您覺得對任何事情有用。

• 請參閱inference.py用saved_model推斷。
• 請參閱TF Lite推斷inference_tflite.py 。
• 請參閱e2e-notebook.ipynb檢查我如何導出這些模型格式。
• 請參閱發行版以下載預驗證的模型。

數據集

我在ThorstenMüller的Thorsten數據集上訓練了這些模型。它是根據Creative Commons Zero V1通用（CC0）的條款獲得許可的，該條款完全選擇了版權，並確保作品具有最廣泛的影響力。感謝@thorstenmueller為社區做出了巨大的貢獻。

筆記

一些好人在TensorsPeech/Tensorflowtts上做得很好，該公司已經支持英語，中文和韓語。我想在支持德語並培訓這些模型的支持下做出貢獻。現在，它支持適當的處理器培訓和推斷。詳細的博客文章將隨訪，但目前有一些快速筆記：

• 我利用德語transliterate進行文本預處理。基本上，它歸一化數字（例如將數字轉換為單詞），擴大縮寫並關注德國的umlauts和標點。對於在此存儲庫中發布的推論示例，它是張曲flow的唯一依賴性。
• 您需要將輸入文本轉換為數值ID，以供應模型。我將在推理示例中為此分享一個參考實現，您需要對此邏輯進行編碼以在非Python環境（例如Android）中使用這些模型。
• Tacotron 2最後產生一些噪音，您需要將其切斷。同樣，推論示例顯示瞭如何做到這一點。
• 我將Multi-band MelGAN導出到TF Lite而沒有進行優化，因為當我以默認情況導出時，它產生了一些背景噪聲。我在Tacotron 2中使用了默認優化。
• 我在這裡發布的saved_model格式不適合填充。體系結構實現使用Tensorflow 2.x中的Subclassing API ，並在訓練過程中獲取用於教師強迫的call方法中的多個輸入。導出到saved_model和我在導出之前必須刪除此邏輯時，這會引起一些問題。如果您想獲得FineTune型號，請參閱我的TensorFlowTtt叉。

執照

您可以根據Apache 2.0許可證的條款使用這些驗證的模型工件和代碼示例。另一方面，您可能需要在我的個人資料中顯示的電子郵件地址中與我聯繫，以獲取語音和/或NLP項目中的付費諮詢和/或協作。