ForwardTacotron NVDA

ForwardTacotron และ Hifi-GAN Support สำหรับตัวอ่านหน้าจอ NVDA

หมายเหตุ: Add-on นี้รวมถึงเอกสารยังอยู่ระหว่างการก่อสร้าง ยินดีต้อนรับการมีส่วนร่วมของคุณ!

การแนะนำ

โปรดจำไว้ว่า ForwardTacotron เป็นแบบจำลองการสังเคราะห์คำพูดใน pytorch ที่ใช้ตัวทำนายระยะเวลาเพื่อจัดเรียงข้อความและสร้าง mel spectrograms แบบจำลองมีข้อดีเช่นความทนทานความเร็วความเร็วพิทช์และพลังงานและประสิทธิภาพ

ดังนั้นปลั๊กอินนี้เป็นความพยายามที่จะใช้การสนับสนุนสำหรับ ForwardTacotron ในเครื่องอ่านหน้าจอโอเพ่นซอร์สของ NVDA ผ่านทางไคลเอนต์/เซิร์ฟเวอร์เนื่องจากไลบรารีที่ใช้เป็นไฟฉายไม่สามารถรวมไว้ใน NVDA ได้โดยตรง

นี่เป็นงานที่อยู่ระหว่างดำเนินการดังนั้นจึงยังมีอีกมากที่ต้องทำ

ในระหว่างนี้คุณสามารถฟังความคืบหน้าที่เกิดขึ้นได้

ตัวอย่างเสียง

ภาษา	เสียง	ตัวอย่าง
ภาษาอังกฤษ	ljspeech (พร้อม griffinlim vocoder)
ภาษาอังกฤษ	ljSpeech (พร้อม hifi-gan vocoder)
เกี่ยวกับภาษาสเปน	ชุดข้อมูล ALD (พร้อม hifi-gan vocoder)
เกี่ยวกับภาษาสเปน	Odal (พร้อม Hifi-Gan Vocoder, Universal Model)

สิ่งที่ต้องทำ:

• วิธีรวบรวมและรวมเซิร์ฟเวอร์เข้ากับ Add-on
  • เมื่อสิ่งนี้เกิดขึ้นให้เซิร์ฟเวอร์เปิดเมื่อโหลด synth เมื่อเซิร์ฟเวอร์โหลดเราสามารถโทรตรวจสอบเพื่อให้ซินธิไซเซอร์คำพูดพร้อมใช้งาน
  • สามารถทำสองเวอร์ชันสำหรับ Add-on โดยมีการสนับสนุน CPU และอีกรุ่นหนึ่งที่มีการสนับสนุน GPU เนื่องจากเห็นได้ชัดว่าการสังเคราะห์ถูกสร้างขึ้นแบบเรียลไทม์บน GPU ในระหว่างนี้เราอาจสังเกตเห็นการชะลอตัวใน CPU
• การสนับสนุนการเปลี่ยนเสียงและพลังงานในตัวเลือกแหวน synth
• ในขณะที่ Add-on ใช้ httplib2 เพื่อสื่อสารกับเซิร์ฟเวอร์ แต่ฉันสามารถค้นหาวิธีอื่นและหากจำเป็นต้องเขียนส่วนหนึ่งของเซิร์ฟเวอร์ใหม่
• เพิ่มการสนับสนุนสำหรับการโหลดเสียงต่าง ๆ ที่สามารถตรวจพบได้ภายในโฟลเดอร์ "Voice_models"
  • ด้วยวิธีนี้การรองรับการดาวน์โหลดโมเดลที่ผ่านการฝึกอบรมสามารถเพิ่มได้ เรามีรูปแบบ ljspeech เป็นภาษาอังกฤษอีกภาษาเยอรมันและสองภาษาเป็นภาษาสเปน
• สำหรับโมเดลหลายลำโพงที่ใหม่กว่าสามารถอ่านการตั้งค่าเพื่อตรวจสอบและหากเป็นเช่นนั้นสามารถเลือกเสียงจากตัวเลือกแหวน synth โดยปรึกษาชื่อลำโพงเป็นครั้งแรกในรุ่น