german tts

Немецкий TTS

Немецкий такотрон 2 и многополосный Мелган в Tensorflow с поддержкой вывода TF Lite

Подтверждение

Google поддержал эту работу, предоставив Google Cloud Credit. Спасибо Google за поддержку открытого исходного кода! ?

Обзор

Я выпускаю модели с предварительным немецким нейронным текстом в речь (TTS) Tacotron 2 и многополосный Мелган. Он поддерживает вывод с форматами saved_model и TF Lite , и все модели можно найти в Tensorflow Hub.

Поздольщитесь в дискуссиях, если вы найдете это полезным для чего -либо.

• См. inference.py чтобы сделать вывод с saved_model .
• См. inference_tflite.py чтобы сделать вывод с TF Lite .
• См. e2e-notebook.ipynb , чтобы проверить, как я экспортировал в эти форматы модели.
• Смотрите релизы для загрузки предварительно проведенных моделей.

Набор данных

Я обучил эти модели на наборе данных Thorsten Thorsten Müller. Он имеет лицензию в соответствии с Условиями Creative Commons Zero v1 Universal (CC0), который используется для полного отказа от авторских прав и обеспечения самой широкой охвата работы. Спасибо @thorstenmueller за такой большой вклад в сообщество.

Примечания

Некоторые хорошие парни отлично справляются с Tensorspeech/Tensorflowtts, который уже поддерживал TT на английском, китайском и корейском. Я хотел внести свой вклад в поддержку немецкого языка и обучил эти модели. Теперь он поддерживает как обучение, так и вывод с надлежащими процессорами. Подробное сообщение в блоге будет продолжено, но пока несколько быстрых заметок:

• Я использовал German_transLiteTect для предварительной обработки текста. По сути, он нормализует числа (например, преобразует цифры в слова), расширяет сокращения и заботится о немецких умене и пунктуациях. Для примеров вывода, опубликованных в этом репо, это единственная зависимость, кроме Tensorflow.
• Вам необходимо преобразовать входной текст в числовые идентификаторы, чтобы подавать в модель. Я делюсь эталонной реализацией для этого в примерах вывода, и вам необходимо кодировать эту логику для использования моделей в непитоне-средах (например, Android).
• Tacotron 2 производит немного шума в конце, и вам нужно отрезать его. Опять же, примеры вывода показывают, как это сделать.
• Я экспортировал Multi-band MelGAN в TF Lite без оптимизации, потому что он произвел какой-то фоновый шум, когда я экспортировал с по умолчанию. Я использовал оптимизацию по умолчанию в Tacotron 2 .
• saved_model форматы, которые я выпускаю здесь, не подходят для создания. Архитектурная реализация использует Subclassing API в TensorFlow 2.x и получает несколько входов в методе call для учителей во время обучения. Это вызвало некоторые проблемы при экспорте в saved_model , и мне пришлось удалить эту логику перед экспортом. Если вы хотите сделать модели Finetune, пожалуйста, посмотрите мою вилку Tensorflowtts.

Лицензия

Вы можете использовать эти предварительные артефакты модели и примеры кода в соответствии с Условиями лицензии Apache 2.0. С другой стороны, вы можете связаться со мной для оплачиваемых консультаций и/или сотрудничества в речевых и/или проектах NLP по адресу электронной почты, указанному в моем профиле.