DeepConvolutionalTTS pytorch

DCTTS (Deep Convolutional TTS) - การใช้งาน Pytorch

กระดาษ: ระบบการพูดแบบข้อความเป็นคำพูดที่ฝึกอบรมได้อย่างมีประสิทธิภาพโดยใช้เครือข่ายที่ลึกล้ำ

ข้อกำหนดเบื้องต้น

• Python 3.6
• Pytorch 1.0
• Librosa, Scipy, TQDM, Tensorboardx

ชุดข้อมูล

• LJ Speech 1.1, ชุดข้อมูลลำโพงเดี่ยวหญิง
• ฉันติดตาม DCTTS repo ของ Kyubyong ด้วย tensorflow สำหรับข้อมูลสัญญาณเสียงพูดล่วงหน้า มันใช้งานได้ดีจริง ๆ

การใช้งาน

1. ดาวน์โหลดชุดข้อมูลด้านบนและแก้ไขพา ธ ใน config.py จากนั้นเรียกใช้คำสั่งด้านล่าง 1st Arg: สัญญาณ prepro, 2nd Arg: ข้อมูลเมตา (รถไฟ/การทดสอบแยก)

    python prepro.py 1 1
   

2. DCTTS มีสองรุ่น ประการแรกคุณควรฝึกอบรม Model Text2mel ฉันคิดว่าขั้นตอน 20K นั้นเพียงพอ (เพียงหนึ่งชั่วโมง) แต่คุณควรฝึกอบรมแบบจำลองมากขึ้นเรื่อย ๆ ด้วยการสูญเสียความสนใจที่นำทางด้วยการสลายตัว

    python train.py 1 <gpu_id>
   

3. ประการที่สองฝึกอบรม SSRN เอาต์พุตของ SSRN เป็นข้อมูลความละเอียดสูงมากมาย ดังนั้นการฝึกอบรม SSRN จึงช้ากว่าการฝึกอบรม text2mel

    python train.py 2 <gpu_id>
   

4. หลังจากการฝึกอบรมคุณสามารถสังเคราะห์คำพูดบางส่วนจากข้อความ

    python synthesize.py <gpu_id>
   

ความสนใจ

• ในการสังเคราะห์คำพูดโมดูลความสนใจเป็นสิ่งสำคัญ หากแบบจำลองได้รับการฝึกฝนตามปกติคุณจะเห็นความสนใจแบบโมโนโทนิกเช่นตัวเลขดังต่อไปนี้

หมายเหตุ

• สิ่งที่ต้องทำ: ความสนใจก่อนหน้านี้สำหรับการอนุมาน
• สิ่งที่ต้องทำ: บรรเทาการ overfitting
• ในกระดาษพวกเขาไม่ได้อ้างถึงการทำให้เป็นมาตรฐาน ดังนั้นฉันจึงใช้การทำให้เป็นมาตรฐานน้ำหนักเช่น DeepVoice3
• ไฮเปอร์พารามิเตอร์บางตัวแตกต่างกัน
• หากคุณต้องการปรับปรุงประสิทธิภาพคุณควรใช้ข้อมูลทั้งหมด สำหรับการทดลองต่าง ๆ ฉันแยกชุดฝึกอบรมและชุดการตรวจสอบ

รหัสอื่น ๆ

• การใช้งาน pytorch อื่น
• การใช้งาน TensorFlow