Transformer Text To Speech

Transformer Text to Speech

ระบบ text-to-speech (TTS) แปลงข้อความภาษาปกติเป็นคำพูด ระบบอื่น ๆ ทำให้การเป็นตัวแทนทางภาษาที่เป็นสัญลักษณ์เช่นการถอดเสียงการออกเสียงเป็นคำพูด ตอนนี้ด้วยการพัฒนาเมื่อเร็ว ๆ นี้ในการเรียนรู้อย่างลึกซึ้งเป็นไปได้ที่จะแปลงข้อความเป็นเสียงที่มนุษย์เข้าใจได้ สำหรับสิ่งนี้ข้อความจะถูกป้อนเข้าสู่เครือข่ายระบบประสาทแบบตัวเข้ารหัสเพื่อส่งออก mel-spectrogram ตอนนี้ mel-spectrogram นี้สามารถใช้เพื่อสร้างเสียงโดยใช้ "อัลกอริทึม Griffin-Lim" แต่เนื่องจากข้อเสียของมันว่ามันไม่สามารถผลิตคุณภาพการพูดเหมือนมนุษย์ตาข่ายประสาทอีกชื่อหนึ่งชื่อ Wavenet ถูกจ้างซึ่งถูกเลี้ยงโดย mel-spectrogram เพื่อผลิตเสียงที่แม้แต่มนุษย์ก็ไม่สามารถแยกความแตกต่างได้

สถาปัตยกรรมแบบจำลอง

1. Transformer TTS

• สถาปัตยกรรมหม้อแปลงเครื่องเข้ารหัส Decoder สำหรับการฝึกอบรมแบบขนานแทนการฝึกอบรม SEQ2SEQ ในกรณีของ Tacotron-2
• ข้อความจะถูกส่งเป็นอินพุตและโมเดลจะส่งสัญญาณ mel-spectrogram
• มีการใช้ความสนใจหลายหัวโดยมีการปิดบังเชิงสาเหตุเฉพาะด้านตัวถอดรหัส
• กระดาษ: การสังเคราะห์คำพูดของระบบประสาทด้วยเครือข่ายหม้อแปลง

2. Wavenet

-

• เอาต์พุตของหม้อแปลง TTS (mel-spectrogram) ถูกป้อนเข้าสู่ Wavenet เพื่อสร้างตัวอย่างเสียง
• ซึ่งแตกต่างจากรุ่น SEQ2SEQ Wavenet ยังช่วยให้การฝึกอบรมแบบขนาน
• กระดาษ: Wavenet: รุ่นกำเนิดสำหรับเสียงดิบ

ข้อมูลชุดข้อมูล

โมเดลได้รับการฝึกฝนในชุดย่อยของชุดข้อมูล WMT-2014 ภาษาอังกฤษ-เยอรมัน การประมวลผลล่วงหน้าได้ดำเนินการก่อนการฝึกอบรมแบบจำลอง
ชุดข้อมูล: https://keithito.com/lj-speech-dataset/