Transformer TTS

Transformer-TTS

• การใช้งาน Pytorch ของการสังเคราะห์การพูดด้วยระบบประสาทด้วยเครือข่ายหม้อแปลง
• รุ่นนี้สามารถฝึกฝนได้เร็วกว่ารุ่น SEQ2Seq ที่รู้จักกันดีประมาณ 3 ถึง 4 เท่าเช่น Tacotron และคุณภาพของคำพูดสังเคราะห์เกือบเท่ากัน มันได้รับการยืนยันผ่านการทดลองว่าใช้เวลาประมาณ 0.5 วินาทีต่อขั้นตอน
• ฉันไม่ได้ใช้ Wavenet Vocoder แต่ได้เรียนรู้เครือข่ายโพสต์โดยใช้โมเดล CBHG ของ Tacotron และแปลงสเปกโตรแกรมเป็นคลื่นดิบโดยใช้อัลกอริทึม Griffin-Lim

ความต้องการ

• ติดตั้ง Python 3
• ติดตั้ง pytorch == 0.4.0
• การติดตั้งข้อกำหนด:

   pip install -r requirements.txt
  

ข้อมูล

• ฉันใช้ชุดข้อมูล LJSpeech ซึ่งประกอบด้วยคู่ของสคริปต์ข้อความและไฟล์ WAV สามารถดาวน์โหลดชุดข้อมูลที่สมบูรณ์ (13,100 คู่) ได้ที่นี่ ฉันอ้างถึง https://github.com/keithito/tacotron และ https://github.com/kyubyong/dc_tts สำหรับรหัสการประมวลผลล่วงหน้า

แบบจำลอง

• คุณสามารถดาวน์โหลดรุ่น Pretrained ได้ที่นี่ (160K สำหรับ AR Model / 100K สำหรับ Postnet)
• ค้นหาโมเดล pretrained ที่จุดตรวจ/ ไดเรกทอรี

แปลงความสนใจ

• การจัดแนวทแยงมุมปรากฏขึ้นหลังจากขั้นตอนประมาณ 15k แปลงความสนใจด้านล่างอยู่ที่ขั้นตอน 160K พล็อตแสดงถึงความสนใจแบบหลายชั้นของทุกเลเยอร์ ในการทดลองนี้ H = 4 ใช้สำหรับสามชั้นความสนใจ ดังนั้นจึงมีการดึงความสนใจ 12 แปลงสำหรับตัวเข้ารหัสตัวถอดรหัสและตัวเข้ารหัสแต่ละตัว ด้วยข้อยกเว้นของตัวถอดรหัสมีเพียงไม่กี่คนที่แสดงให้เห็นถึงการจัดแนวทแยงมุม

เข้ารหัสความสนใจตนเอง

ตัวถอดรหัสความสนใจตนเอง

ความสนใจตัวเข้ารหัส

การเรียนรู้เส้นโค้งและอัลฟ่า

• ฉันใช้ Noam Style Warmup และ Decay เหมือนกับ Tacotron

• ค่าอัลฟ่าสำหรับการเข้ารหัสตำแหน่งที่ปรับขนาดแตกต่างจากวิทยานิพนธ์ ในกระดาษค่าอัลฟ่าของตัวเข้ารหัสจะเพิ่มขึ้นเป็น 4 ในขณะที่ในการทดลองปัจจุบันมันเพิ่มขึ้นเล็กน้อยที่จุดเริ่มต้นและลดลงอย่างต่อเนื่อง ตัวถอดรหัสอัลฟ่าลดลงอย่างต่อเนื่องตั้งแต่เริ่มต้น

บันทึกการทดลอง

1. อัตราการเรียนรู้เป็นพารามิเตอร์ที่สำคัญสำหรับการฝึกอบรม ด้วยอัตราการเรียนรู้เริ่มต้นที่ 0.001 และการสลายตัวแบบทวีคูณไม่ทำงาน
2. การตัดไล่ระดับสียังเป็นพารามิเตอร์ที่สำคัญสำหรับการฝึกอบรม ฉันตัดการไล่ระดับสีด้วยค่าปกติ 1
3. ด้วยการสูญเสียโทเค็นแบบหยุดโมเดลไม่ได้ฝึกอบรม
4. มันสำคัญมากที่จะเชื่อมต่ออินพุตและเวกเตอร์บริบทในกลไกความสนใจ

ตัวอย่างที่สร้างขึ้น

• คุณสามารถตรวจสอบตัวอย่างที่สร้างขึ้นด้านล่าง ตัวอย่างทั้งหมดอยู่ที่ 160K ดังนั้นฉันคิดว่าโมเดลยังไม่ได้มาบรรจบกัน รุ่นนี้ดูเหมือนจะมีประสิทธิภาพต่ำกว่าในประโยคยาว

  • ตัวอย่าง 1
  • ตัวอย่าง 2
  • ตัวอย่าง 3

• พล็อตแรกคือ mel spectrogram ที่คาดการณ์ไว้และที่สองคือความจริงพื้นฐาน

คำอธิบายไฟล์

• hyperparams.py รวมพารามิเตอร์ไฮเปอร์ทั้งหมดที่จำเป็น
• prepare_data.py Preprocess WAV ไฟล์ไปยัง MEL, Spectrogram เชิงเส้นและบันทึกไว้สำหรับเวลาการฝึกอบรมที่เร็วขึ้น รหัสการประมวลผลล่วงหน้าสำหรับข้อความอยู่ในข้อความ/ ไดเรกทอรี
• preprocess.py รวมรหัสการประมวลผลล่วงหน้าทั้งหมดเมื่อคุณโหลดข้อมูล
• module.py มีวิธีการทั้งหมดรวมถึงความสนใจ prenet, postnet และอื่น ๆ
• network.py มีเครือข่ายรวมถึง Encoder, Decoder และเครือข่ายหลังการประมวลผล
• train_transformer.py สำหรับการฝึกอบรมเครือข่ายความสนใจอัตโนมัติ (ข้อความ -> เมล)
• train_postnet.py ใช้สำหรับการฝึกอบรมเครือข่าย (mel -> linear)
• synthesis.py ใช้สำหรับการสร้างตัวอย่าง TTS

ฝึกอบรมเครือข่าย

• ขั้นตอนที่ 1. ดาวน์โหลดและแยกข้อมูล LJSpeech ที่ไดเรกทอรีใด ๆ ที่คุณต้องการ
• ขั้นตอนที่ 2. ปรับพารามิเตอร์ hyperparameters ใน hyperparams.py โดยเฉพาะ 'data_path' ซึ่งเป็นไดเรกทอรีที่คุณแยกไฟล์และอื่น ๆ หากจำเป็น
• ขั้นตอนที่ 3. เรียกใช้ prepare_data.py
• ขั้นตอนที่ 4. รัน train_transformer.py
• ขั้นตอนที่ 5. เรียกใช้ train_postnet.py

สร้างไฟล์ TTS WAV

• ขั้นตอนที่ 1. เรียกใช้ synthesis.py ตรวจสอบให้แน่ใจว่าขั้นตอนการกู้คืน

อ้างอิง

• Keith Ito: https://github.com/keithito/tacotron
• Kyubyong Park: https://github.com/kyubyong/dc_tts
• jadore801120: https://github.com/jadore801120/attention-is-all-you-need-pytorch/

ความเห็น

• ความคิดเห็นใด ๆ สำหรับรหัสยินดีต้อนรับเสมอ