tts german pytorch

TTS-German-Pytorch

Fastpitch (Arxiv)는 Thorsten Müller의 Thorsten – 2022.10 및 Thorsten-21.06 감정적 데이터 세트에 대한 교육을 받았습니다.

오디오 샘플

여기에서 일부 오디오 샘플을들을 수 있습니다.

빠른 설정

필수 패키지 : torch torchaudio pyyaml phonemizer

phonemizer 및 espeak-ng 백엔드를 설치하려면 여기를 참조하십시오.

~ 훈련 : librosa matplotlib tensorboard

~ 데모 앱의 경우 : fastapi "uvicorn[standard]"

Fastpitch Model 링크의 사전 가중치를 다운로드하십시오.

Hifi-gan 보코더 가중치 (링크)를 다운로드하십시오. pretrained/hifigan-thor-v1 에 넣거나 configs/basic.yaml 에서 다음 줄을 편집하십시오.

 # vocoder
vocoder_state_path : pretrained/hifigan-thor-v1/hifigan-thor.pth
vocoder_config_path : pretrained/hifigan-thor-v1/config.json 

모델 사용

models.fastpitch 의 FastPitch 텍스트 간 유험을 단순화하는 래퍼입니다. FastPitch2Wave 모델에는 직접 텍스트 음성 연설을위한 Hifi-gan 보코더가 포함되어 있습니다.

MEL 스펙트럼을 추론합니다

 from models . fastpitch import FastPitch
model = FastPitch ( 'pretrained/fastpitch_de.pth' )
model = model . cuda ()
mel_spec = model . ttmel ( "Hallo Welt!" )

엔드 투 엔드 텍스트-음성

 from models . fastpitch import FastPitch2Wave
model = FastPitch2Wave ( 'pretrained/fastpitch_de.pth' )
model = model . cuda ()
wave = model . tts ( "Hallo Welt!" )

wave_list = model . tts ([ "null" , "eins" , "zwei" , "drei" , "vier" , "fünf" ])

웹 앱

웹 앱은 Fastapi 라이브러리를 사용합니다. 앱을 실행하려면 다음 패키지가 필요합니다.

Fastapi : 백엔드 API 용 | Uvicorn : 앱을 제공합니다

설치 : pip install fastapi "uvicorn[standard]"

: python app.py 와 함께 실행하십시오

시사:

감사의 말

고품질 데이터 세트에 대한 Thorsten Müller에게 감사드립니다.

Fastpitch 파일은 Nvidia의 DeeplearningExamples에서 비롯됩니다