เมื่อวันที่ 18 กุมภาพันธ์ Kunlun Wanwei ได้ประกาศแหล่งที่มาของโมเดลการสร้างวิดีโอครั้งแรกของจีนสำหรับการสร้างละครสั้น AI Skyreels-V1 และแอ็คชั่นแอ็คชั่นการแสดงออกระดับ Sota ระดับแรกที่ควบคุมได้ Skyreels-A1 การย้ายครั้งสำคัญนี้นับเป็นขั้นตอนสำคัญในการสร้างวิดีโอ AI ของจีนโดยมีวัตถุประสงค์เพื่อแก้ปัญหาอุปสรรคทางเทคนิคและปัญหาการค้าที่มีอยู่ในรูปแบบการสร้างวิดีโอ AI ปัจจุบันและฉีดพลังใหม่เข้าสู่อุตสาหกรรมละครสั้น AI
ในฐานะที่เป็นโมเดลการสร้างวิดีโอโอเพนซอร์สแห่งแรกของจีนสำหรับการสร้างละครสั้น AI Skyreels-V1 มีสถาปัตยกรรมทางเทคนิคที่รวมโมดูลหลายอย่างเช่นการสร้างริมฝีปากการสร้างการแสดงออกและการสร้างร่างกายเพื่อให้สามารถควบคุมรายละเอียดของการแสดงของตัวละครได้อย่างแม่นยำ โมเดลนี้ได้รับการฝึกฝนและปรับแต่งโดยข้อมูลฮอลลีวูดคุณภาพสูงหลายสิบล้านรายการซึ่งช่วยปรับปรุงการควบคุมการแสดงออกและการสร้างร่างกายอย่างมีนัยสำคัญและให้การสนับสนุนทางเทคนิคที่แข็งแกร่งสำหรับการสร้างละครสั้น AI
Skyreels-V1 สนับสนุนการผสมผสานที่หลากหลายของการแสดงออกของตัวละครที่ละเอียดอ่อน 33 ครั้งและการเคลื่อนไหวตามธรรมชาติ 400+ ซึ่งสามารถฟื้นฟูการแสดงออกทางอารมณ์ในชีวิตจริงได้อย่างมาก วิดีโอที่สร้างขึ้นไม่เพียง แต่มีแสงและความสวยงามระดับเงาและพื้นผิวของภาพเท่านั้น แต่ยังสามารถบรรลุการสร้างการแสดงขนาดเล็กระดับภาพยนตร์ของตัวละคร โดยเฉพาะอย่างยิ่งที่กล่าวถึงว่า Skyreels-V1 ไม่เพียง แต่รองรับวิดีโอ Wensheng เท่านั้น แต่ยังรองรับวิดีโอ Tiesheng ด้วย
ในระดับการใช้งานทางเทคนิค Skyreels-V1 ขึ้นอยู่กับการทำความสะอาดข้อมูลคุณภาพสูงและการติดฉลากด้วยตนเองที่พัฒนาโดย Kunlun Wanwei เพื่อสร้างภาพยนตร์คุณภาพสูงหลายสิบล้านรายการทีวีและข้อมูลสารคดี ทีมยังได้พัฒนาวิดีโอการทำความเข้าใจหลายรูปแบบ "มนุษย์เป็นศูนย์กลาง" ซึ่งปรับปรุงความเข้าใจของตัวละครในวิดีโออย่างมีนัยสำคัญและเป็นรากฐานทางเทคนิคที่แข็งแกร่งสำหรับการควบคุมแบบจำลองที่แม่นยำ
SkyReels-A1 เป็นอัลกอริทึมการแสดงออกของโมเดลวิดีโอระดับฐาน SOTA ระดับแรกซึ่งรองรับการจับภาพการแสดงออกระดับภาพยนตร์ที่ขับเคลื่อนด้วยวิดีโอและตระหนักถึงการฟื้นฟูการแสดงออกของไมโครการแสดงออกที่มีความเที่ยงตรงสูง อัลกอริทึมนี้สามารถสร้างวิดีโอแบบไดนามิกที่สมจริงอย่างสูงตามสัดส่วนของร่างกายมนุษย์
Skyreels-A1 มีข้อได้เปรียบที่สำคัญในการใช้งานด้านเทคนิคสนับสนุนการสร้างการควบคุมการแสดงออกของใบหน้าด้านข้างซึ่งสามารถบรรลุคิ้วที่สมจริงยิ่งขึ้น เมื่อเปรียบเทียบกับการกระทำของรันเวย์ Skyreels-A1 ไม่มีการบิดเบือนในวิดีโอที่สร้างขึ้นและรายละเอียดการปฏิบัติงานมีความสมจริงมากขึ้นซึ่งสามารถบรรลุการแสดงออกที่เป็นธรรมชาติและสมบูรณ์แบบของการแสดงออกและการเคลื่อนไหวของร่างกายให้มาตรฐานทางเทคนิคที่สูงขึ้นสำหรับการสร้างละครสั้น AI
Kunlun Wanwei ได้ปฏิบัติตามแนวคิดของโอเพ่นซอร์สและมุ่งมั่นที่จะส่งเสริมความเท่าเทียมทางเทคโนโลยี ตั้งแต่เดือนสิงหาคม 2566 บริษัท ได้เปิดตัวหลายรุ่นอย่างต่อเนื่องเช่นซีรีย์ "Tiangong" Skywork-13B ซีรี่ส์ R&D เครื่องมือ R&D แบบเต็มรูปแบบของ Digital Intelligent Body AgentStudio และ "Tiangong Big Model 3.0" 400 พันล้านพารามิเตอร์ Moe Super Model โอเพนซอร์ส Skyreels-V1 และ Skyreels-A1 เป็นกรณีแรกในอุตสาหกรรมละครสั้น AI โดยมีวัตถุประสงค์เพื่อนำความสามารถของ AIGC ที่มีต้นทุนต่ำและควบคุมได้มากขึ้นให้กับผู้ใช้และส่งเสริมการก่อสร้างอย่างต่อเนื่อง
Fang Han ประธานและซีอีโอของ Kunlun Wanwei กล่าวว่าการเกิดขึ้นของความสามารถของ AIGC จะช่วยลดต้นทุนการผลิตภาพยนตร์และส่งเสริมสิทธิที่เท่าเทียมกันในวัฒนธรรม ในอนาคต Kunlun Wanwei จะยังคงเปิดแหล่งผลิตวิดีโอและอัลกอริทึมการสร้างวิดีโอและอัลกอริทึมมากขึ้นให้ความเป็นไปได้มากขึ้นสำหรับการพัฒนาอุตสาหกรรมละครสั้น AI และส่งเสริมการประยุกต์ใช้เทคโนโลยี AI อย่างกว้างขวางในสาขาภาพยนตร์และโทรทัศน์
ที่อยู่โอเพ่นซอร์ส:
Skyreels-V1
https://github.com/skyworkai/skyreels-v1
Skyreels-A1
https://github.com/skyworkai/skyreels-a1
รายงานทางเทคนิค: https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
ที่อยู่อย่างเป็นทางการของ Skyreels: Skyreels.ai