Meta ร่วมมือกับมหาวิทยาลัยวิทยาศาสตร์และเทคโนโลยี King Abdullah (KAUST) ในซาอุดีอาระเบีย ได้เปิดตัวโมเดลการแพร่กระจายวิดีโอแนวใหม่ที่เรียกว่า MarDini โมเดลนี้สามารถสร้างวิดีโอคุณภาพสูงได้อย่างง่ายดายและมีประสิทธิภาพ และใช้ฟังก์ชันต่างๆ มากมาย เช่น การเติมเฟรมวิดีโอ การแปลงรูปภาพเป็นวิดีโอ และการขยายวิดีโอ ซึ่งช่วยให้กระบวนการสร้างวิดีโอง่ายขึ้นอย่างมาก บรรณาธิการของ Downcodes จะอธิบายรายละเอียดเกี่ยวกับคุณลักษณะและข้อดีของโมเดล MarDini ตลอดจนความก้าวหน้าครั้งสำคัญในด้านการประมวลผลวิดีโอ
เมื่อเร็วๆ นี้ Meta ได้ร่วมมือกับมหาวิทยาลัยวิทยาศาสตร์และเทคโนโลยี King Abdullah (KAUST) แห่งซาอุดีอาระเบียเพื่อเปิดตัวโมเดลการแพร่กระจายวิดีโอแนวใหม่ – MarDini รุ่นนี้ทำให้การสร้างวิดีโอคุณภาพสูงง่ายขึ้นและยืดหยุ่นมากขึ้น สามารถทำงานต่างๆ ให้สำเร็จได้ เช่น การเติมเฟรมที่ขาดหายไปในวิดีโอ การแปลงรูปภาพเดี่ยวให้เป็นฉากไดนามิก และแม้แต่การขยายคลิปสั้นโดยการเพิ่มส่วนที่ต่อเนื่องกันอย่างเป็นธรรมชาติ
MarDini ยังมีความสามารถในการขยายวิดีโอโดยการปรับสภาพวิดีโอที่มีอยู่ไม่ว่าจะมีความยาวเท่าใดก็ได้ เราเพิ่ม 12 เฟรมใหม่ในแต่ละลำดับโดยสร้างส่วนขยาย 2 วินาทีจากวิดีโออ้างอิง 5 เฟรม
MarDini ใช้การแก้ไขวิดีโอโดยการสร้างเฟรมระดับกลางโดยใช้เฟรมแรกและเฟรมสุดท้ายเป็นสัญญาณปรับสภาพ เมื่อกรอบขอบเขตเหล่านี้เหมือนกัน MarDini จะสามารถสร้างวิดีโอวนซ้ำได้อย่างราบรื่น
วิธีการทำงานของ MarDini นั้นน่าสนใจมาก ใช้เทคโนโลยีการสร้างวิดีโอขั้นสูงและมีประสิทธิภาพ และส่วนใหญ่ประกอบด้วยสองส่วน: โมเดลการวางแผนและโมเดลการสร้าง ขั้นแรก แบบจำลองการวางแผนใช้วิธีการพรางอัตโนมัติ (MAR) เพื่อตีความเฟรมอินพุตความละเอียดต่ำ และสร้างสัญญาณแนะนำสำหรับเฟรมที่ต้องสร้าง จากนั้นโมเดลที่สร้างแสงน้อยจะใช้กระบวนการแพร่กระจายเพื่อสร้างเฟรมที่มีรายละเอียดที่มีความละเอียดสูง เพื่อให้มั่นใจว่าวิดีโอขั้นสุดท้ายจะราบรื่นและน่าพึงพอใจ
ไม่เหมือนกับโมเดลวิดีโอหลายๆ รุ่นที่ต้องการโมเดลรูปภาพที่ผ่านการฝึกอบรมล่วงหน้าที่ซับซ้อน MarDini อ้างว่าได้รับการฝึกฝนตั้งแต่เริ่มต้นโดยใช้ข้อมูลวิดีโอที่ไม่มีป้ายกำกับ เนื่องจากใช้กลยุทธ์การฝึกแบบก้าวหน้า ซึ่งช่วยให้โมเดลสามารถรับมือกับการกำหนดค่าเฟรมต่างๆ ได้ดีขึ้น โดยการปรับวิธีการพรางเฟรมระหว่างกระบวนการฝึกอย่างยืดหยุ่น
คุณลักษณะที่โดดเด่นของ MarDini คือความยืดหยุ่นและประสิทธิภาพ ไม่เพียงแต่ทรงพลังเท่านั้น แต่ยังมีประสิทธิภาพอีกด้วย เหมาะสำหรับงานขนาดใหญ่ โมเดลนี้สามารถจัดการงานต่างๆ เช่น การแก้ไขวิดีโอ การสร้างภาพเป็นวิดีโอ และการขยายวิดีโอ ไม่ว่าจะเป็นการปรับคลิปวิดีโอที่มีอยู่ให้ราบรื่นหรือสร้างลำดับที่สมบูรณ์ตั้งแต่ต้น
ในแง่ของประสิทธิภาพ MarDini ได้กำหนดเกณฑ์มาตรฐานใหม่ โดยผลิตวิดีโอคุณภาพสูงด้วยขั้นตอนที่น้อยลง ทำให้ประหยัดต้นทุนและเวลาได้เมื่อเทียบกับทางเลือกที่ซับซ้อนกว่า รายงานการวิจัยอย่างเป็นทางการระบุว่า "การศึกษาของเราแสดงให้เห็นว่ากลยุทธ์การสร้างแบบจำลองของเรามีประสิทธิภาพในการแข่งขันบนเกณฑ์มาตรฐานการแก้ไขและภาพเคลื่อนไหวที่หลากหลาย ขณะเดียวกันก็ลดข้อกำหนดในการคำนวณในระดับพารามิเตอร์ที่เทียบเคียงได้"
ทางเข้าโครงการ: https://mardini-vidgen.github.io/
โดยรวมแล้ว โมเดล MarDini นำเสนอความเป็นไปได้ใหม่ๆ ในด้านการสร้างสรรค์วิดีโอด้วยประสิทธิภาพที่มีประสิทธิภาพและสถานการณ์การใช้งานที่ยืดหยุ่น เทคโนโลยีที่เป็นนวัตกรรมใหม่และประสิทธิภาพที่เหนือกว่าทำให้คาดว่าจะกลายเป็นเทคโนโลยีชั้นนำในด้านการสร้างและประมวลผลวิดีโอในอนาคต หวังว่า MarDini จะนำมาซึ่งความประหลาดใจอีกมากมายในอนาคต!