FlashSpeech

flashspeech

การใช้งาน FlashSpeech สำหรับรายละเอียดทั้งหมดตรวจสอบบทความของเราที่ได้รับการยอมรับจาก ACM MM 2024: FlashSpeech: การสังเคราะห์คำพูดที่มีประสิทธิภาพเป็นศูนย์-ช็อต

สังเกต

• โครงการนี้เป็นเวอร์ชันที่แก้ไขแล้วตาม NaturalsPeech2 ของ Amphion เนื่องจากการใช้เครื่องมือ Microsoft ภายในบางตัวในรหัสดั้งเดิม
• การตั้งค่าสภาพแวดล้อม :

  bash env.sh

• ฉันได้เปลี่ยน accelerate ของ Amphion ด้วย lightning เพราะฉันพบปัญหาที่คล้ายกัน (ปัญหาที่เกี่ยวข้อง) การฝึกด้วย lightning เร็วขึ้น

การเตรียมข้อมูล

• แก้ไข ns2dataset.py ตามข้อมูลของคุณ
• รุ่นนี้ได้รับการทดสอบในชุดข้อมูล Libritts ตรวจสอบให้แน่ใจว่าคุณมีข้อมูลต่อไปนี้จัดทำขึ้นล่วงหน้า:
  • ขว้าง
  • รหัส
  • หน่วยเสียง
  • ระยะเวลา

การฝึกอบรม

1. เรียกใช้สคริปต์การฝึกอบรม :

   bash egs/tts/NaturalSpeech2/run_train.sh

หมายเหตุสำคัญ :

• เลือกการกำหนดค่า :

  • คุณสามารถเลือกไฟล์การกำหนดค่า ***_s1 หรือ ***_s2 ตามขั้นตอนการฝึกอบรม

• แก้ไขตัวแปลงสัญญาณรุ่น :

  • ใน models/tts/naturalspeech2/flashspeech.py อัปเดตตัวแปลงสัญญาณเป็นของคุณเอง
  • ปรับ self.latent_norm เพื่อทำให้ตัวแปลงสัญญาณแฝงเป็นปกติกับค่าเบี่ยงเบนมาตรฐาน (ขั้นตอนนี้มีความสำคัญสำหรับการฝึกอบรมแบบจำลองความสอดคล้อง)

• ขั้นตอนที่ 2 การตั้งค่า :

  • ใน models/tts/naturalspeech2/flashspeech_trainer_stage2.py ตั้งค่าน้ำหนักเริ่มต้นที่ได้จากการฝึกขั้นตอนที่ 1

• ขั้นตอนที่ 3 การพัฒนา :

  • รหัสสำหรับขั้นตอนที่ 3 ยังไม่ได้เปิดตัว อย่างไรก็ตามคุณสามารถอ้างถึงการฝึกอบรมความสอดคล้องของขั้นตอนที่ 1 เพื่อนำไปใช้

สิ่งที่ต้องทำ

จัดระเบียบโครงสร้างโครงการเพิ่มเติมและกรอกรหัสที่เหลือ

กิตติกรรมประกาศ

ขอขอบคุณเป็นพิเศษกับ Amphion เนื่องจาก Codebase ของเรายืมมาจาก Amphion เป็นหลัก

ขอบคุณที่ใช้ FlashSpeech!