german tts

TTS alemán

Tacotron 2 alemán y Melgan de banda múltiple en Tensorflow con soporte de inferencia de tf lite

Reconocimiento

Google admitió este trabajo al proporcionar crédito en la nube de Google. ¡Gracias Google por apoyar el código abierto! ?

Descripción general

Estoy liberando modelos de texto neuronal alemán (TTS) previamente alemán Tacotron 2 y Melgan de la banda múltiple. Admite inferencia con formatos saved_model y TF Lite , y todos los modelos se pueden encontrar en TensorFlow Hub.

Saluda en las discusiones si te parece útil para algo.

• Ver inference.py para inferir con saved_model .
• Ver inference_tflite.py para inferir con TF Lite .
• Consulte e2e-notebook.ipynb para verificar cómo exporté a estos formatos de modelo.
• Ver lanzamientos para descargar modelos previos a la aparición.

Conjunto de datos

Entrené estos modelos en el conjunto de datos de Thorsten por Thorsten Müller. Tiene licencia bajo los términos de Creative Commons Zero V1 Universal (CC0), que se utiliza para optar por las copyright por completo y garantizar que el trabajo tenga el mayor alcance. Gracias @thorstenmueller por una contribución tan grande a la comunidad.

Notas

Algunos buenos chicos están haciendo un gran trabajo en TensorsPeech/Tensorflowtts, que ya estaba apoyando a TTS en inglés, chino y coreano. Quería contribuir con el apoyo al alemán y capacité a estos modelos. Ahora admite la capacitación y la inferencia con los procesadores adecuados. Una publicación de blog detallada seguirá, pero algunas notas rápidas por ahora:

• Hice uso de German_Transriterate para el preprocesamiento de texto. Básicamente, normaliza los números (por ejemplo, convierte los dígitos en palabras), expande abreviaturas y cuida umlauts y puntuaciones alemanas. Para ejemplos de inferencia publicados en este repositorio, es la única dependencia aparte de TensorFlow.
• Debe convertir el texto de entrada a ID numéricos para alimentarse en el modelo. Estoy compartiendo una implementación de referencia para esto en ejemplos de inferencia, y debe codificar esta lógica para usar los modelos en entornos que no son Python (por ejemplo, Android).
• Tacotron 2 produce algo de ruido al final, y debe cortarlo. Nuevamente, los ejemplos de inferencia muestran cómo hacer esto.
• Exporté Multi-band MelGAN a TF Lite sin optimizaciones porque produjo algo de ruido de fondo cuando exporté con los predeterminados. Utilicé optimizaciones predeterminadas en Tacotron 2 .
• saved_model Formats que estoy lanzando aquí no son adecuados para ficlar sintonizar. La implementación de la arquitectura utiliza Subclassing API en TensorFlow 2.x y obtiene múltiples entradas en el método call para el forzamiento del maestro durante la capacitación. Esto causó algunos problemas al exportar a saved_model y tuve que eliminar esta lógica antes de exportar. Si desea Finetune Models, consulte mi bifurcación de TensorFlowtts.

Licencia

Puede usar estos artefactos de modelo previos a los productos y ejemplos de código bajo los términos de la licencia Apache 2.0. Por otro lado, es posible que desee contactarme para consultas pagas y/o colaboraciones en proyectos de habla y/o PNL en la dirección de correo electrónico que se muestra en mi perfil.