Hallo โปรเจ็กต์โอเพ่นซอร์สของมหาวิทยาลัย Fudan ซึ่งเป็นเครื่องมือสำหรับสร้างวิดีโอการพูดตามเสียงและภาพ ขณะนี้รองรับปลั๊กอิน ComfyUI แล้ว โปรเจ็กต์นี้บรรลุการซิงโครไนซ์เสียงและภาพที่มีความแม่นยำสูง รวมถึงการเคลื่อนไหวของริมฝีปาก การแสดงสีหน้า และท่าทาง ผ่านกระบวนทัศน์การแพร่กระจายขั้นสูงจากต้นทางถึงปลายทางและโมดูลการสังเคราะห์ภาพที่ขับเคลื่อนด้วยเสียงแบบเป็นชั้น ทำให้เอฟเฟกต์วิดีโอที่สร้างขึ้นมีความสมจริงและเป็นธรรมชาติ แม้ว่าขั้นตอนการติดตั้งอาจจะซับซ้อน แต่การเกิดขึ้นของ Hallo ได้เพิ่มพลังใหม่ให้กับชุมชนโอเพ่นซอร์ส และยังให้ความเป็นไปได้ที่กว้างขึ้นในด้านการสร้างวิดีโออีกด้วย
โปรเจ็กต์ Hallo ช่วยให้ภาพถ่ายใบหน้าเริ่มพูดได้โดยการป้อนข้อมูลเสียง และมาพร้อมกับการแสดงออกที่สอดคล้องกัน เอฟเฟกต์จึงดูเป็นธรรมชาติมาก โปรเจ็กต์นี้ใช้กระบวนทัศน์การแพร่กระจายแบบ end-to-end และแนะนำโมดูลการสังเคราะห์ภาพที่ขับเคลื่อนด้วยเสียงแบบเลเยอร์ เพื่อปรับปรุงความแม่นยำในการจัดตำแหน่งระหว่างอินพุตเสียงและเอาต์พุตภาพ รวมถึงการเคลื่อนไหวของริมฝีปาก การแสดงสีหน้า และท่าทาง
โมดูลการสังเคราะห์ภาพที่ขับเคลื่อนด้วยเสียงแบบเลเยอร์นี้ให้การควบคุมที่ปรับเปลี่ยนได้สำหรับความหลากหลายของการแสดงออกและท่าทาง บรรลุการปรับแต่งเฉพาะบุคคลสำหรับตัวตนที่แตกต่างกันได้อย่างมีประสิทธิภาพมากขึ้น ซึ่งหมายความว่าไม่ว่าจะเป็นภาพถ่ายใบหน้าของใครก็ตาม ก็สามารถสร้างวิดีโอพูดคุยได้ผ่านโปรเจ็กต์ Hallo และเอฟเฟกต์จะเป็นธรรมชาติราวกับว่าคนจริงกำลังพูดอยู่
แม้ว่าขั้นตอนการติดตั้งโครงการ Hallo อาจค่อนข้างซับซ้อน แต่การเกิดขึ้นได้นำพลังใหม่มาสู่ระบบนิเวศโอเพ่นซอร์สอย่างไม่ต้องสงสัย ในขณะที่เทคโนโลยียังคงพัฒนาอย่างต่อเนื่อง เราคาดหวังว่าโครงการดังกล่าวจะปรากฏมากขึ้นในอนาคต ซึ่งจะนำความสะดวกสบายและความสนุกสนานมาสู่ชีวิตของเรามากขึ้น
ที่อยู่ปลั๊กอิน: https://github.com/AIFSH/ComfyUI-Hallo
ด้วยเอฟเฟกต์การสร้างวิดีโอที่ยอดเยี่ยมและฟีเจอร์โอเพ่นซอร์ส โครงการ Hallo ช่วยให้นักพัฒนาและผู้ใช้มีพื้นที่สร้างสรรค์ที่หลากหลาย ฉันเชื่อว่าด้วยความก้าวหน้าของเทคโนโลยีและการมีส่วนร่วมของชุมชน โครงการ Hallo จะมีฟังก์ชันที่ทรงพลังมากขึ้นและโอกาสในการใช้งานที่กว้างขึ้น ซึ่งจะทำให้การสร้างเนื้อหามัลติมีเดียเป็นไปได้มากขึ้น เราหวังว่าจะมีโครงการนวัตกรรมที่คล้ายกันมากขึ้นในอนาคต