german tts

allemand-tts

Tacotron allemand 2 et Multi-Band Melgan à Tensorflow avec support d'inférence TF Lite

Reconnaissance

Google a pris en charge ce travail en fournissant Google Cloud Credit. Merci Google de soutenir l'open source! ?

Aperçu

Je publie des modèles de texte à dispection neuronal pré-entraîné (TTS) Tacotron 2 et Multi-Band Melgan. Il prend en charge l'inférence avec les formats saved_model et TF Lite , et tous les modèles peuvent être trouvés sur TensorFlow Hub.

Dites bonjour dans les discussions si vous le trouvez utile pour quelque chose.

• Voir inference.py pour déduire avec saved_model .
• Voir inference_tflite.py pour déduire avec TF Lite .
• Voir e2e-notebook.ipynb pour vérifier comment j'ai exporté vers ces formats de modèle.
• Voir les versions pour télécharger des modèles pré-entraînés.

Ensemble de données

J'ai formé ces modèles sur l'ensemble de données Thorsten par Thorsten Müller. Il est sous licence en vertu des termes de Creative Commons Zero V1 Universal (CC0), qui est utilisé pour se retirer entièrement du droit d'auteur et s'assurer que l'œuvre a la portée la plus large. Merci @thorstenmueller pour une si grande contribution à la communauté.

Notes

Certains bons font un excellent travail chez Tensorspeech / Tensorflowtts, qui soutenait déjà les TT en anglais, chinois et coréen. Je voulais contribuer avec le soutien de l'allemand et former ces modèles. Maintenant, il soutient à la fois la formation et l'inférence avec les processeurs appropriés. Un article de blog détaillé sera suivi, mais quelques notes rapides pour l'instant:

• J'ai utilisé German_Transliterate pour le prétraitement du texte. Fondamentalement, il normalise les nombres (par exemple, convertit les chiffres en mots), élargit les abréviations et se soucie des umlauts allemands et des ponctuations. Pour les exemples d'inférence publiés dans ce dépôt, c'est la seule dépendance en dehors de TensorFlow.
• Vous devez convertir le texte d'entrée en ID numériques pour alimenter le modèle. Je partage une implémentation de référence pour ces exemples d'inférence, et vous devez coder cette logique pour utiliser les modèles dans des environnements non-python (par exemple, Android).
• Tacotron 2 produit du bruit à la fin et vous devez le couper. Encore une fois, les exemples d'inférence montrent comment procéder.
• J'ai exporté Multi-band MelGAN vers TF Lite sans optimisations car il a produit un bruit de fond lorsque j'ai exporté avec les par défaut. J'ai utilisé des optimisations par défaut dans Tacotron 2 .
• Les formats saved_model que je publie ici ne conviennent pas à la finetuning. L'implémentation d'architecture utilise Subclassing API dans TensorFlow 2.x et obtient plusieurs entrées dans la méthode call pour le forçage des enseignants pendant la formation. Cela a causé certains problèmes lors de l'exportation vers saved_model et j'ai dû supprimer cette logique avant d'exporter. Si vous voulez des modèles FineTune, veuillez consulter ma fourche de Tensorflowtts.

Licence

Vous pouvez utiliser ces artefacts et exemples de code de modèle pré-entraînés selon les termes de la licence Apache 2.0. D'un autre côté, vous voudrez peut-être me contacter pour des consultants payants et / ou des collaborations dans des projets de discours et / ou de PNL à l'adresse e-mail indiquée sur mon profil.