tts german pytorch

TTS-German-Pytorch

Fastpitch (Arxiv) обучался на наборах данных Thorsten Müller Thorsten-2022.10 и Thorsten-21.06.

Аудио Образцы

Вы можете послушать некоторые образцы аудио здесь.

Быстрая настройка

Требуемые пакеты: torch torchaudio pyyaml phonemizer

Пожалуйста, обратитесь к установке phonemizer и espeak-ng Backend.

~ Для обучения: librosa matplotlib tensorboard

~ Для демонстрационного приложения: fastapi "uvicorn[standard]"

Загрузите предварительные веса для ссылки на модель FastPitch.

Загрузите вес Vocoder Hifi-Gan (ссылка). Либо поместите их в pretrained/hifigan-thor-v1 либо отредактируйте следующие строки в configs/basic.yaml .

 # vocoder
vocoder_state_path : pretrained/hifigan-thor-v1/hifigan-thor.pth
vocoder_config_path : pretrained/hifigan-thor-v1/config.json 

Используя модели

FastPitch от models.fastpitch Fastpith-это обертка, которая упрощает вывод текста в мелу. Модель FastPitch2Wave включает в себя hifi-gan Vocoder для прямого вывода текста в речь.

Вывод спектрограммы MEL

 from models . fastpitch import FastPitch
model = FastPitch ( 'pretrained/fastpitch_de.pth' )
model = model . cuda ()
mel_spec = model . ttmel ( "Hallo Welt!" )

Сквозной текст в речь

 from models . fastpitch import FastPitch2Wave
model = FastPitch2Wave ( 'pretrained/fastpitch_de.pth' )
model = model . cuda ()
wave = model . tts ( "Hallo Welt!" )

wave_list = model . tts ([ "null" , "eins" , "zwei" , "drei" , "vier" , "fünf" ])

Веб -приложение

Веб -приложение использует библиотеку Fastapi. Чтобы запустить приложение, вам нужны следующие пакеты:

FOSTAPI: для бэкэнд API | Uvicorn: для обслуживания приложения

Установите с: pip install fastapi "uvicorn[standard]"

Запустить с: python app.py

Предварительный просмотр:

Благодарности

Спасибо Торстену Мюллеру за высококачественные наборы данных.

Файлы FastPitch вытекают из DeepLearningExamples Nvidia