18 февраля Kunlun Wanwei объявил о открытом исходном источнике первой модели генерации видео в Китае для создания короткой драмы AI SkyReels-V1 и первого управляемого алгоритма экспрессии на уровне SOTA Skyreels-A1. Этот основной шаг знаменует собой важный шаг в области генерации видео с искусственным интеллектом в Китае, направленного на решение технических барьеров и проблем с коммерциализацией, существующей в текущей модели генерации видео с ИИ, и внедрить новую жизнеспособность в индустрию короткой драматической индустрии искусственного интеллекта.
Как первая модель генерации видео с открытым исходным кодом для создания короткой драмы AI, Skyreels-V1 имеет техническую архитектуру, которая интегрирует несколько модулей, таких как генерация губ, генерация выражения и генерация тела, достигая точного контроля над деталями персонажей. Эта модель обучена и настраивается в десятках миллионов высококачественных голливудских данных, которые значительно улучшают управляемость генерации выражения и генерации тела и обеспечивают сильную техническую поддержку для создания короткой драмы ИИ.
SkyReels-V1 поддерживает разнообразную комбинацию из 33 деликатных выражений характера и более 400 естественных движений, которые могут сильно восстановить реальные эмоциональные выражения. Видео, которые он генерирует, не только обладают эстетикой света и тени на уровне фильма и текстуры изображений, но и могут достичь генерации микроэкспрессии на уровне фильмов персонажей. Особенно стоит упомянуть, что Skyreels-V1 не только поддерживает видео Wensheng, но и поддерживает видео Tiesheng.
На уровне технической реализации SkyReels-V1 полагается на высококачественную очистку данных и ручную маркировку, разработанную Кунлуном Ванвайем, для создания десятков миллионов высококачественных фильмов, сериалов и документальных данных. Команда также разработала мультимодальную модель «Понимание видео», которая значительно улучшила понимание персонажей в видео и обеспечила прочную техническую основу для точного контроля модели.
SkyReels-A1-это первый алгоритм управляемого видео на основе модели на основе модели на основе модели на основе модели на основе экспрессии, который поддерживает захват на уровне видео на уровне видео и реализует восстановление микроэкспрессии с высокой точностью. Этот алгоритм может генерировать очень реалистичные динамические видеоролики, основанные на любых пропорциях человеческого тела.
SkyReels-A1 имеет значительные преимущества в технической реализации, поддерживая генерацию управления экспрессией боковых лиц, что может достичь более реалистичной генерации в виде бровей и глазных микроэкспрессии, а также более крупных движений головы и естественного тела. По сравнению с Act-One's Act-One, SkyReels-A1 не имеет искажений в созданных видеороликах, а детали производительности более реалистичны, что может достичь естественного и совершенного слияния выражений и движений тела, обеспечивая более высокие технические стандарты для создания коротких драм AI.
Кунлун Ванвэй всегда придерживался концепции открытого исходного кода и стремится содействовать технологическому равенству. С августа 2023 года компания последовательно открыла несколько моделей, таких как серия «Tiangong» Skywork-13B, полнопроцессорный инструментарий исследований и разработок Digital Intelly Body Agentstudio, и 400-миллиардный параметр Tiangong Big Model 3,0 »400-миллиарда MOE Super Model. Этот с открытым исходным кодом Skyreels-V1 и Skyreels-A1 являются первыми случаями в короткой драматической индустрии ИИ, которые стремятся привлечь недорогие, более контролируемые возможности AIGC для пользователей и способствовать непрерывной конструкции и процветанию экосистемы AI Short Drama.
Фан Хан, председатель и генеральный директор Kunlun Wanwei, сказал, что появление возможностей AIGC значительно снизит стоимость производства кино и способствует равным правам в культуре. В будущем Kunlun Wanwei будет продолжать открывать больше моделей генерации видео и алгоритмы, предоставлять больше возможностей для разработки короткой драматической индустрии ИИ и продвигать широкое применение технологии искусственного интеллекта в области создания кино и телевидения.
Адрес с открытым исходным кодом:
Skyreels-V1
https://github.com/skyworkai/skyreels-v1
Skyreels-A1
https://github.com/skyworkai/skyreels-a1
Технический отчет: https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
Официальный адрес Skyreels: Skyreels.ai