Fastpitch (Arxiv) ได้รับการฝึกฝนเกี่ยวกับ Thorsten Müllerของ Thorsten-20122.10 และ Thorsten-21.06-emotional ชุดข้อมูล

คุณสามารถฟังตัวอย่างเสียงได้ที่นี่
แพ็คเกจที่จำเป็น: torch torchaudio pyyaml phonemizer
โปรดดูที่นี่เพื่อติดตั้ง phonemizer และ backend espeak-ng
~ สำหรับการฝึกอบรม: librosa matplotlib tensorboard
~ สำหรับแอพสาธิต: fastapi "uvicorn[standard]"
ดาวน์โหลดตุ้มน้ำหนักที่ได้รับการฝึกฝนสำหรับลิงค์รุ่น Fastpitch
ดาวน์โหลด Hifi-Gan Vocoder Weights (ลิงก์) ไม่ว่าจะเป็นพวกเขาลงใน pretrained/hifigan-thor-v1 หรือแก้ไขบรรทัดต่อไปนี้ใน configs/basic.yaml
# vocoder
vocoder_state_path : pretrained/hifigan-thor-v1/hifigan-thor.pth
vocoder_config_path : pretrained/hifigan-thor-v1/config.json FastPitch จาก models.fastpitch เป็น wrapper ที่ช่วยลดความซับซ้อนของการอนุมานแบบข้อความกับ mel โมเดล FastPitch2Wave รวมถึง HIFI-GAN VOCODER สำหรับการอนุมานแบบข้อความโดยตรงกับการพูด
from models . fastpitch import FastPitch
model = FastPitch ( 'pretrained/fastpitch_de.pth' )
model = model . cuda ()
mel_spec = model . ttmel ( "Hallo Welt!" ) from models . fastpitch import FastPitch2Wave
model = FastPitch2Wave ( 'pretrained/fastpitch_de.pth' )
model = model . cuda ()
wave = model . tts ( "Hallo Welt!" )
wave_list = model . tts ([ "null" , "eins" , "zwei" , "drei" , "vier" , "fünf" ])เว็บแอปใช้ไลบรารี fastapi ในการเรียกใช้แอพที่คุณต้องการแพ็คเกจต่อไปนี้:
fastapi: สำหรับแบ็กเอนด์ API | Uvicorn: สำหรับให้บริการแอป
ติดตั้งด้วย: pip install fastapi "uvicorn[standard]"
รันด้วย: python app.py
ดูตัวอย่าง:

ขอบคุณ Thorsten Müllerสำหรับชุดข้อมูลคุณภาพสูง
ไฟล์ fastpitch เกิดจาก deeplearningexamples ของ Nvidia