dc_tts

การใช้งาน tensorflow ของ DC-TTS: ยังเป็นรุ่นข้อความเป็นคำพูดอื่น

ฉันใช้รูปแบบการพูดแบบข้อความเป็นคำพูด DC-TTS อีกรุ่นหนึ่งซึ่งเปิดตัวในระบบการพูดแบบข้อความที่สามารถฝึกอบรมได้อย่างมีประสิทธิภาพโดยใช้เครือข่ายที่ลึกล้ำด้วยความสนใจที่ได้รับความสนใจ อย่างไรก็ตามเป้าหมายของฉันไม่ได้เป็นเพียงการจำลองกระดาษ ค่อนข้างฉันต้องการที่จะได้รับข้อมูลเชิงลึกเกี่ยวกับโครงการเสียงต่าง ๆ

ความต้องการ

• numpy> = 1.11.1
• tensorflow> = 1.3 (โปรดทราบว่า API ของ tf.contrib.layers.layer_norm มีการเปลี่ยนแปลงตั้งแต่ 1.3)
• คลังแสง
• TQDM
• matplotlib
• คนขี้เกียจ

ข้อมูล

ฉันฝึกฝนโมเดลภาษาอังกฤษและโมเดลเกาหลีในชุดข้อมูลการพูดที่แตกต่างกันสี่ชุด

1. ชุดข้อมูลคำพูด LJ
2. หนังสือเสียงของ Nick Offerman
3. หนังสือเสียงของ Kate Winslet
4. ชุดข้อมูล KSS

ชุดข้อมูลคำพูด LJ เพิ่งถูกใช้อย่างกว้างขวางเป็นชุดข้อมูลมาตรฐานในงาน TTS เพราะมีให้บริการแบบสาธารณะและมีตัวอย่างคุณภาพที่สมเหตุสมผล 24 ชั่วโมง หนังสือเสียงของ Nick และ Kate นั้นใช้เพื่อดูว่าโมเดลสามารถเรียนรู้ได้หรือไม่แม้จะมีข้อมูลน้อยลง พวกเขามีความยาว 18 ชั่วโมงและ 5 ชั่วโมงตามลำดับ ในที่สุดชุดข้อมูล KSS เป็นชุดข้อมูลคำพูดลำโพงเดี่ยวเกาหลีที่ใช้เวลานานกว่า 12 ชั่วโมง

การฝึกอบรม

• ขั้นตอนที่ 0. ดาวน์โหลดชุดข้อมูลคำพูด LJ หรือเตรียมข้อมูลของคุณเอง
• ขั้นตอนที่ 1. ปรับพารามิเตอร์ไฮเปอร์ใน hyperparams.py (หากคุณต้องการทำการประมวลผลล่วงหน้าให้ตั้งค่า prepro true`
• ขั้นตอนที่ 2. Run python train.py 1 สำหรับการฝึกอบรม text2mel (หากคุณตั้งค่า prepro จริงให้เรียกใช้ python prepro.py ก่อน)
• ขั้นตอนที่ 3. Run python train.py 2 สำหรับการฝึกอบรม SSRN

คุณสามารถทำขั้นตอนที่ 2 และ 3 ในเวลาเดียวกันหากคุณมีการ์ด GPU มากกว่าหนึ่งใบ

เส้นโค้งการฝึกอบรม

พล็อตความสนใจ

การสังเคราะห์ตัวอย่าง

ฉันสร้างตัวอย่างการพูดตามประโยคฮาร์วาร์ดเหมือนกระดาษต้นฉบับ มันรวมอยู่ใน repo แล้ว

• เรียกใช้ synthesize.py และตรวจสอบไฟล์ใน samples

ตัวอย่างที่สร้างขึ้น

ชุดข้อมูล	ตัวอย่าง
LJ	50K 200K 310K 800K
นิค	40K 170K 300K 800K
เคท	40K 160K 300K 800K
KSS	400K

แบบจำลองที่ผ่านการฝึกอบรมสำหรับ LJ

ดาวน์โหลดสิ่งนี้

หมายเหตุ

• กระดาษไม่ได้กล่าวถึงการทำให้เป็นมาตรฐาน แต่หากไม่มีการทำให้เป็นมาตรฐานฉันไม่สามารถใช้งานได้ ดังนั้นฉันจึงเพิ่มการทำให้เป็นมาตรฐานของเลเยอร์
• กระดาษแก้ไขอัตราการเรียนรู้เป็น 0.001 แต่มันไม่ได้ผลสำหรับฉัน ดังนั้นฉันจึงสลายตัว
• ฉันพยายามฝึก Text2Mel และ SSRN พร้อมกัน แต่มันไม่ได้ผล ฉันเดาว่าการแยกเครือข่ายทั้งสองนั้นช่วยลดภาระของการฝึกอบรม
• ผู้เขียนอ้างว่าแบบจำลองสามารถได้รับการฝึกฝนภายในหนึ่งวัน แต่น่าเสียดายที่โชคไม่ได้เป็นของฉัน อย่างไรก็ตามเห็นได้ชัดว่านี่เป็นสิ่งที่ดีกว่าทาโคทรอนมากเพราะใช้เลเยอร์ convolution เท่านั้น
• ต้องขอบคุณความสนใจที่มีไกด์พล็อตความสนใจดูซ้ำซากจำเจเกือบตั้งแต่ต้น ฉันเดาว่านี่ดูเหมือนว่าจะมีการประปาที่แน่นหนาดังนั้นมันจะไม่สูญเสียการติดตาม
• กระดาษไม่ได้พูดถึงการออกกลางคัน ฉันใช้มันเพราะฉันเชื่อว่ามันช่วยให้เป็นปกติ
• ตรวจสอบรุ่น TTS อื่น ๆ เช่น Tacotron และ Deep Voice 3