2月18日,昆仑万维宣布开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1和首个SOTA级别的表情动作可控算法SkyReels-A1。这一重大举措标志着中国在AI视频生成领域迈出了重要一步,旨在解决当前AI视频生成模型存在的技术壁垒和商业化难题,为AI短剧行业注入新的活力。
SkyReels-V1作为中国首个面向AI短剧创作的开源视频生成模型,其技术架构融合了口型生成、表情生成和肢体生成等多个模块,实现了对人物表演细节的精准把控。该模型通过千万级别的高质量好莱坞数据进行训练和微调,显著提升了表情生成和肢体生成的可控性,为AI短剧创作提供了强有力的技术支持。
SkyReels-V1支持33种细腻人物表情与400+种自然动作的多样化组合,能够高度还原真人情感表达。其生成的视频不仅具备电影级的光影美学和画面质感,还能实现影视级的人物微表情表演生成。特别值得一提的是,SkyReels-V1不仅支持文生视频,还支持图生视频,是目前开源视频生成模型中参数最大的图生视频模型。
在技术实现层面,SkyReels-V1依托昆仑万维自研的高质量数据清洗和人工标注管线,构建了千万级的高质量电影、电视剧和纪录片数据。团队还自研了「Human-Centric」的视频理解多模态大模型,显著提升了视频中人物相关的理解能力,为模型的精准控制提供了坚实的技术基础。
SkyReels-A1作为首个SOTA级别的基于视频基座模型的表情动作可控算法,支持视频驱动的电影级表情捕捉,实现高保真微表情还原。该算法能够基于任意人体比例生成高度逼真的人物动态视频,其真实感源自对人物表情变化、情绪、皮肤肌理和身体动作等多维度细节的深度还原,为AI短剧创作提供了全新的可能性。
SkyReels-A1在技术实现上具有显著优势,支持侧脸的表情控制生成,能够实现更加逼真的眉眼微表情生成和更大幅度的头部与自然身体动作。与Runway的Act-One相比,SkyReels-A1在生成的视频中人物不失真,表演细节更真实,能够实现神情与身体动作的自然完美融合,为AI短剧创作提供了更高的技术标准。
昆仑万维一直秉持开源理念,致力于推动技术平权。自2023年8月以来,公司陆续开源了大语言模型「天工」Skywork-13B系列、数字智能体全流程研发工具包AgentStudio、「天工大模型3.0」4000亿参数MoE超级模型等多个模型。此次开源SkyReels-V1和SkyReels-A1,是AI短剧行业的首例,旨在为用户带来低成本、可控性更强的AIGC能力,推动AI短剧生态的持续建设和繁荣。
昆仑万维董事长兼CEO方汉表示,AIGC能力的出现将显著降低电影制作成本,推动文化的平权。未来,昆仑万维将继续开源更多视频生成模型和算法,为AI短剧行业的发展提供更多可能性,推动AI技术在影视创作领域的广泛应用。
开源地址:
SkyReels-V1
https://github.com/SkyworkAI/SkyReels-V1
SkyReels-A1
https://github.com/SkyworkAI/SkyReels-A1
技术报告:https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
SkyReels官方地址:skyreels.ai