german tts

Deutsch-TTS

Deutsch Tacotron 2 und Multi-Band-Melgan im Tensorflow mit TF Lite Inferenzunterstützung

Anerkennung

Google unterstützte diese Arbeit, indem er Google Cloud -Gutschrift bereitstellte. Vielen Dank an Google, dass Sie die Open Source unterstützt haben! ?

Überblick

Ich veröffentlichen TTS-Modellen Tacotron 2 und Multi-Band Melgan. Es unterstützt Inferenz mit saved_model und TF Lite -Formaten, und alle Modelle finden Sie auf dem Tensorflow -Hub.

Sag Hallo in Diskussionen, wenn Sie es für irgendetwas nützlich finden.

• Siehe inference.py , um mit saved_model zu schließen.
• Siehe inference_tflite.py , um mit TF Lite zu schließen.
• Siehe e2e-notebook.ipynb um zu überprüfen, wie ich in diese Modellformate exportiert habe.
• Siehe Veröffentlichungen zum Herunterladen vorgelöster Modelle.

Datensatz

Ich habe diese Modelle auf Thorsten Dataset von Thorsten Müller trainiert. Es ist unter den Bestimmungen von Creative Commons Zero V1 Universal (CC0) lizenziert, mit dem das Urheberrecht vollständig abgelehnt wird und sicherstellt, dass die Arbeit die größte Reichweite hat. Vielen Dank an @thorstenmueller für einen so großen Beitrag zur Community.

Notizen

Einige gute Leute machen einen großartigen Job bei TensorSpeech/TensorFlowtts, der bereits TTS auf Englisch, Chinesisch und Koreanisch unterstützte. Ich wollte mit Unterstützung für Deutsch beitragen und diese Modelle ausgebildet. Jetzt unterstützt es sowohl die Schulungen als auch die Schlussfolgerung bei den richtigen Prozessoren. Ein detaillierter Blog -Beitrag wird nachverfolgen, aber einige schnelle Notizen vorerst:

• Ich benutzte Deutsch_Transliterat für die Vorverarbeitung von Text. Grundsätzlich normalisiert es Zahlen (z. B. konvertiert Ziffern in Wörter), erweitert die Abkürzungen und kümmert sich um deutsche Umlauts und Unterbrechungen. Für Inferenzbeispiele, die in diesem Repo veröffentlicht wurden, ist es die einzige Abhängigkeit, abgesehen von TensorFlow.
• Sie müssen Eingabetext in numerische IDs konvertieren, um in das Modell einzuspeisen. Ich teile eine Referenzimplementierung hierfür in Inferenzbeispielen und Sie müssen diese Logik codieren, um die Modelle in Nicht-Python-Umgebungen (z. B. Android) zu verwenden.
• Tacotron 2 erzeugt am Ende etwas Geräusch, und Sie müssen es abschneiden. Auch hier zeigen Inferenzbeispiele, wie das geht.
• Ich habe Multi-band MelGAN ohne Optimierungen in TF Lite exportiert, weil es beim Exportieren mit den Standard-Exportieren einige Hintergrundgeräusche erzeugt hat. Ich habe Standardoptimierungen in Tacotron 2 verwendet.
• saved_model -Formate, die ich hier veröffentliche, eignen sich nicht zum Finetuning. Die Implementierung der Architektur verwendet Subclassing API in TensorFlow 2.x und erhält mehrere Eingaben in der call für den Lehrerzweck während des Trainings. Dies verursachte einige Probleme beim Exportieren in saved_model , und ich musste diese Logik vor dem Export entfernen. Wenn Sie Modelle mit Fintune beenden möchten, sehen Sie sich bitte meine Tensorflowtts -Gabel an.

Lizenz

Sie können diese vorbereiteten Modellartefakte und Code -Beispiele unter den APache 2.0 -Lizenz verwenden. Andererseits möchten Sie mich für bezahlte Beratungsunternehmen und/oder Kooperationen in Sprach- und/oder NLP -Projekten an der in meinem Profil angezeigten E -Mail -Adresse kontaktieren.