ทุกวันนี้ ด้วยการพัฒนาอย่างรวดเร็วของปัญญาประดิษฐ์ เครื่องมือสังเคราะห์เสียงพูดที่สามารถจัดการหลายภาษาได้อย่างราบรื่นจึงมีความสำคัญอย่างยิ่ง นักวิจัยจากมหาวิทยาลัยสตุ๊ตการ์ทได้เปิดตัว ToucanTTS ซึ่งเป็นโมเดลการอ่านออกเสียงข้อความ (TTS) ที่น่าทึ่ง ซึ่งรองรับภาษามากกว่า 7,000 ภาษา ครอบคลุมภาษามาตรฐาน ISO-639-3 เกือบทั้งหมด สิ่งนี้จะส่งเสริมการสื่อสารและความเข้าใจระหว่างภาษาต่างๆ ทั่วโลกอย่างมากอย่างไม่ต้องสงสัย โดยเปิดโอกาสใหม่สำหรับการสื่อสารข้ามวัฒนธรรมและการประยุกต์ใช้ปัญญาประดิษฐ์ การเกิดขึ้นของ ToucanTTS ถือเป็นก้าวใหม่ของเทคโนโลยีการสังเคราะห์เสียงพูด
ในโลกนี้ที่มีภาษาแปลก ๆ มากมาย รู้สึกว่ายากขึ้นอีกไหมที่จะหาผู้ช่วยสังเคราะห์เสียงพูดที่สามารถพูดได้ทุกภาษาในโลก ไม่ต้องกังวล นักเรียนชั้นนำของมหาวิทยาลัยสตุ๊ตการ์ท ได้ทำการเปลี่ยนแปลงครั้งใหญ่ - ToucanTTS โมเดลการอ่านออกเสียงข้อความ (TTS) ที่พูดได้มากกว่า 7,000 ภาษา!
ToucanTTS ชื่อนี้ฟังดูมีพลังมาก เบื้องหลังคือเทคโนโลยีสีดำของ IMS รองรับภาษามาตรฐาน ISO-639-3 เกือบทั้งหมด ซึ่งหมายความว่าในทางทฤษฎีสามารถพูดภาษาได้มากกว่าที่คุณรู้ ศักยภาพของสิ่งนี้ในระดับโลกนั้นไร้ขีดจำกัด
ฟังก์ชั่นหลัก:
การสนับสนุนหลายภาษา: ToucanTTS รองรับภาษามาตรฐาน ISO-639-3 เกือบทั้งหมดและในทางทฤษฎีสามารถครอบคลุมได้มากกว่า 7,000 ภาษา ปัจจุบันเป็นรุ่น TTS ที่รองรับภาษาส่วนใหญ่
การสังเคราะห์คำพูดหลายสไตล์: รองรับการจำลองจังหวะ ความเครียด และเสียงสูงต่ำของลำโพงที่แตกต่างกัน ให้ความหลากหลายสไตล์และการปรับแต่งเสียง
การสังเคราะห์คำพูดที่ควบคุมได้: ผู้ใช้สามารถควบคุมพารามิเตอร์คำพูด เช่น ระดับเสียง ความเร็วในการพูด และอารมณ์ เพื่อสร้างคำพูดที่มีอารมณ์หรือสไตล์ที่แตกต่างกัน
การสร้างคำพูดคุณภาพสูง: การใช้เฟรมเวิร์ก PyTorch และเทคโนโลยีการเรียนรู้เชิงลึกเพื่อให้แน่ใจว่าการสร้างคำพูดมีความเที่ยงตรงและเป็นธรรมชาติในระดับสูง
ฟังก์ชั่นการแก้ไขโดยมนุษย์: ประกอบด้วยฟังก์ชั่นการแก้ไขแบบมนุษย์ในวง เหมาะสำหรับการวิจัยวรรณกรรมและงานอ่านบทกวี
เครื่องมือจัดตำแหน่งที่มีในตัวเอง: เครื่องมือจัดตำแหน่งที่มี CTC และการฝึกอบรมการสร้างสเปกโตรแกรมใหม่เพื่อปรับปรุงความแม่นยำและคุณภาพการสังเคราะห์เสียงพูด
เครื่องมือประมวลผลข้อมูลล่วงหน้า: จัดเตรียมเครื่องมือประมวลผลข้อมูลล่วงหน้าเพื่อลดความซับซ้อนในการเตรียมข้อมูลการฝึกอบรม
คนๆ หนึ่งมีใบหน้านับพัน และเสียงของเขายังสามารถ "เปลี่ยนใบหน้า" ของเขาได้
ToucanTTS ไม่เพียงแต่พูดได้หลายภาษา แต่ยังสามารถจำลองสไตล์ของผู้พูดที่แตกต่างกัน ไม่ว่าจะเป็นน้ำเสียง ความเครียด หรือจังหวะ คุณสามารถควบคุมได้อย่างง่ายดาย นี่เป็นข่าวดีสำหรับแอปพลิเคชันที่ต้องการความหลากหลายของเสียง
ชุดเครื่องมือยังช่วยให้ผู้ใช้ควบคุมพารามิเตอร์คำพูดได้หลายแบบ เช่น ระดับเสียง ความเร็ว อารมณ์ และอื่นๆ คุณต้องการกำลังใจที่อ่อนโยนหรือกำลังใจที่กระตือรือร้น ToucanTTS สามารถให้คุณได้
เสียงคุณภาพสูง เป็นธรรมชาติเหมือนเสียงพูดของคนจริง
การใช้เฟรมเวิร์ก PyTorch และเทคโนโลยีการเรียนรู้เชิงลึก คุณภาพเสียงพูดที่สร้างโดย ToucanTTS นั้นสูงมากจนสามารถเป็นของปลอมได้ การฝึกอบรมและการอนุมานแบบครบวงจรช่วยให้สามารถจัดการงานการสังเคราะห์เสียงพูดที่ซับซ้อนได้อย่างง่ายดาย
ToucanTTS ยังมีฟังก์ชันการแก้ไขแบบมนุษย์ในวง ซึ่งเหมาะอย่างยิ่งสำหรับการวิจัยวรรณกรรมและการอ่านบทกวี ผู้ใช้สามารถปรับแต่งเสียงสังเคราะห์ได้ตามความต้องการของตนเองทำให้เครื่องเข้าใจหัวใจของคุณได้ดีขึ้น
ตัวจัดตำแหน่งที่มีอยู่ในตัวเองทำให้การสังเคราะห์เสียงพูดมีความแม่นยำมากขึ้น
เครื่องมือจัดตำแหน่งในตัวซึ่งได้รับการฝึกฝนโดยใช้ CTC และการสร้างสเปกโตรแกรมใหม่ ช่วยเพิ่มความแม่นยำและคุณภาพของการสังเคราะห์เสียงพูด
ToucanTTS ยังมีชุดเครื่องมือประมวลผลข้อมูลล่วงหน้าครบชุด ซึ่งช่วยให้การเตรียมข้อมูลการฝึกอบรมง่ายขึ้น และทำให้การสังเคราะห์เสียงพูดมีประสิทธิภาพมากขึ้น
ที่อยู่โครงการ: https://github.com/DigitalPhonetics/IMS-Toucan
การสาธิตออนไลน์: https://huggingface.co/spaces/Flux9665/MassivelyMultilingualTTS
โดยรวมแล้ว ToucanTTS ได้นำการปฏิวัติครั้งยิ่งใหญ่มาสู่ด้านการสังเคราะห์เสียงพูดด้วยการสนับสนุนหลายภาษาอันทรงพลัง การสร้างเสียงพูดคุณภาพสูง และการใช้งานที่สะดวกสบาย และแนวโน้มการใช้งานในอนาคตนั้นประเมินค่าไม่ได้ เราหวังเป็นอย่างยิ่งว่า ToucanTTS จะถูกนำไปใช้อย่างแพร่หลายในด้านต่างๆ และนำประสบการณ์ทางเสียงที่สะดวกและชาญฉลาดยิ่งขึ้นมาสู่ผู้ใช้ทั่วโลก