Diffutoon ซึ่งเป็นเครื่องมือ AI ที่อาลีบาบาและมหาวิทยาลัย East China Normal University เปิดตัวร่วมกัน ช่วยให้วิดีโอสามารถเปลี่ยนเป็นสไตล์แอนิเมชั่นได้ในคลิกเดียว ส่งผลให้ขั้นตอนการผลิตวิดีโอเปลี่ยนไปอย่างสิ้นเชิง ใช้เทคโนโลยีการสร้างภาพ AI ขั้นสูง - โมเดลการแพร่กระจายเพื่อแปลงวิดีโอจริงเป็นรูปแบบแอนิเมชั่นต่างๆ ทำให้ภาพราบรื่นและเป็นธรรมชาติ มีรายละเอียดครบถ้วน และรองรับเอาต์พุตความละเอียดสูงและการแก้ไขอัจฉริยะ ไม่ว่าคุณจะเป็นนักสร้างวิดีโอสั้นหรือมืออาชีพ Diffutoon สามารถให้ความช่วยเหลือด้านการสร้างสรรค์อันทรงพลัง ทำให้การผลิตวิดีโอง่ายขึ้นและสนุกกว่าที่เคย
ลองนึกภาพการถือโทรศัพท์มือถือไว้ในมือ บันทึกวิดีโอตามต้องการ จากนั้นเพียงคลิกเดียว วิดีโอก็จะกลายเป็นภาพสไตล์อนิเมะอย่างน่าอัศจรรย์ นี่ไม่ใช่ความฝัน นี่คือปาฏิหาริย์ที่ดิฟฟูตูนมอบให้
Diffutoon ซึ่งเป็นเครื่องมือ AI ที่พัฒนาโดย Alibaba และ East China Normal University ทำให้การผลิตวิดีโอเป็นเรื่องง่ายและสนุกกว่าที่เคยด้วยเสน่ห์อันเป็นเอกลักษณ์
วิดีโอจากหน้าโครงการอย่างเป็นทางการ
ไฮไลท์คุณสมบัติหลัก:
การแปลงสไตล์แอนิเมชั่น: แปลงวิดีโอสมจริงให้เป็นแอนิเมชั่นสไตล์ต่างๆ ช่วยให้สามารถเชื่อมต่อระหว่างความเป็นจริงและโลกสองมิติได้อย่างราบรื่น
ความสม่ำเสมอของเนื้อหา: รักษาความสม่ำเสมอของเนื้อหาวิดีโอ หลีกเลี่ยงการกะพริบและการบิดเบี้ยว และทำให้ทุกเฟรมราบรื่นและเป็นธรรมชาติ
เอาต์พุตที่มีความละเอียดสูง: รองรับการสร้างวิดีโอที่มีความละเอียดสูงและระยะยาวเพื่อตอบสนองความต้องการในการผลิตระดับมืออาชีพ
การแก้ไขอย่างชาญฉลาด: แก้ไขเนื้อหาวิดีโอตามข้อความที่ผู้ใช้แจ้ง เช่น การเปลี่ยนสีหรือการเพิ่มเอฟเฟกต์พิเศษ
การรักษารายละเอียด: รักษาแสง ผม ท่าทาง และรายละเอียดอื่นๆ อย่างละเอียด โดยไม่สูญเสียประสบการณ์การมองเห็นในรูปแบบแอนิเมชั่น
การเพิ่มประสิทธิภาพความละเอียดต่ำ: แม้ว่าความละเอียดวิดีโออินพุตจะต่ำ แต่วิดีโอสไตล์อะนิเมะคุณภาพสูงก็สามารถส่งออกได้
แกนหลักของ Diffutoon คือเทคโนโลยีการสร้างภาพ AI ขั้นสูง - โมเดลการแพร่กระจาย โมเดลนี้สร้างรูปภาพและวิดีโอใหม่โดยการเรียนรู้จากข้อมูลรูปภาพจำนวนมาก Diffutoon ได้รับการปรับปรุงบนพื้นฐานนี้ ไม่เพียงแต่ประมวลผลภาพเดียวเท่านั้น แต่ยังรวมถึงการสร้างวิดีโอการ์ตูนด้วย
ในขั้นแรก Diffutoon จะวิเคราะห์แต่ละเฟรมในวิดีโอเพื่อเก็บข้อมูลสำคัญ เช่น การเคลื่อนไหวของตัวละครและท่าทาง จากนั้นจึงแปลงสไตล์ของภาพให้เป็นการ์ตูนแอนิเมชันโดยยังคงเก็บข้อมูลนี้ไว้ กระบวนการทั้งหมดเป็นเหมือนเวทย์มนตร์ ทำให้วิดีโอดูเหมือนแอนิเมชั่นโดยยังคงการเคลื่อนไหวและโครงสร้างดั้งเดิมไว้
ด้วยการใช้เทคโนโลยีที่มีประสิทธิภาพ เช่น "Flash Attention" ทำให้ Diffutoon ปรับปรุงความเร็วในการประมวลผลได้อย่างมาก และแม้แต่วิดีโอความละเอียดสูงที่ถ่ายด้วยโทรศัพท์มือถือก็สามารถแปลงเป็นเอฟเฟกต์ภาพเคลื่อนไหวได้อย่างรวดเร็ว
Diffutoon มีสถานการณ์การใช้งานที่หลากหลาย ตั้งแต่การผลิตแอนิเมชั่น การพัฒนาเกม ไปจนถึงการผลิตสื่อโฆษณา สำหรับผู้สร้างวิดีโอสั้น นี่เป็นเครื่องมือสร้างสรรค์ที่ทรงพลังที่ทำให้การสร้างสรรค์เนื้อหามีความหลากหลายมากขึ้น
แม้ว่าจะยังต้องได้รับการปรับปรุงให้สมบูรณ์แบบเมื่อต้องรับมือกับฉากที่ซับซ้อนหรือภาพเคลื่อนไหวที่รวดเร็ว แต่ศักยภาพของ Diffutoon ก็ไม่สามารถมองข้ามไปได้ ด้วยความก้าวหน้าทางเทคโนโลยีอย่างต่อเนื่อง เรามีเหตุผลที่เชื่อได้ว่า Diffutoon จะนำการเปลี่ยนแปลงครั้งยิ่งใหญ่มาสู่การสร้างสรรค์วิดีโอ
หน้าโครงการ: https://top.aibase.com/tool/diffutoon
รหัส: https://github.com/modelscope/DiffSynth-Studio
บทความ: https://arxiv.org/abs/2401.16224
Diffutoon นำความเป็นไปได้ใหม่ๆ มาสู่วงการการผลิตวิดีโอด้วยการใช้งานที่สะดวกสบายและฟังก์ชันอันทรงพลัง แม้ว่าจะยังมีบางประเด็นที่ต้องปรับปรุง แต่ศักยภาพในการพัฒนาในอนาคตนั้นมีมากมาย และคุ้มค่าที่จะรอคอยความก้าวหน้าเพิ่มเติมในด้านการสร้างสรรค์วิดีโอในอนาคต เยี่ยมชมหน้าโครงการและพื้นที่เก็บข้อมูลเพื่อเรียนรู้เพิ่มเติม