El 18 de febrero, Kunlun Wanwei anunció el código abierto del primer modelo de generación de videos de China para la creación de drama corta de IA Skyreels-V1 y el primer algoritmo controlable de acción de la expresión de Sota-a nivel Sota Skyreels-A1. Este movimiento principal marca un paso importante en el campo de generación de videos de IA de China, con el objetivo de resolver las barreras técnicas y los problemas de comercialización existentes en el modelo actual de generación de videos de IA e inyectar una nueva vitalidad en la industria del drama corto de IA.
Como el primer modelo de generación de videos de código abierto de China para la creación de drama corta de IA, Skyreels-V1 tiene una arquitectura técnica que integra múltiples módulos como la generación de labios, la generación de expresiones y la generación del cuerpo, logrando un control preciso de los detalles de las actuaciones de los personajes. Este modelo está entrenado y ajustado por decenas de millones de datos de Hollywood de alta calidad, lo que mejora significativamente la capacidad de control de la generación de expresiones y la generación del cuerpo, y proporciona un fuerte soporte técnico para la creación de drama corto de IA.
Skyreels-V1 admite una combinación diversa de 33 expresiones de carácter delicadas y más de 400 movimientos naturales, que pueden restaurar altamente expresiones emocionales de la vida real. Los videos que genera no solo tienen la estética de la luz a nivel de película y la estética de la sombra y la textura de la imagen, sino que también pueden lograr la generación de actuaciones de personajes a nivel de película a nivel de película. Vale la pena mencionar particularmente que Skyreels-V1 no solo admite el video de Wensheng, sino que también admite el video Tiesheng. Es el modelo de video Tiesheng con los parámetros más grandes en el modelo actual de generación de videos de código abierto.
En el nivel de implementación técnica, Skyreels-V1 se basa en la tubería de limpieza de datos y etiquetado manual de alta calidad desarrollada por Kunlun Wanwei para construir decenas de millones de películas de alta calidad, series de televisión y datos documentales. El equipo también desarrolló el modelo multimodal de comprensión de video "centrado en el humano", que mejoró significativamente la comprensión de los personajes en el video y proporcionó una base técnica sólida para el control preciso del modelo.
Skyreels-A1 es el primer algoritmo controlable de acción de expresión basado en el modelo de video de nivel SOTA, que admite la captura de expresión a nivel de película basada en video y realiza la restauración de microexpresión de alta fidelidad. Este algoritmo puede generar videos dinámicos de personajes altamente realistas basados en cualquier proporción del cuerpo humano. La realidad proviene de la profunda restauración de detalles multidimensionales, como cambios en la expresión de personajes, emociones, textura de la piel y movimientos del cuerpo, proporcionando nuevas posibilidades para la creación de drama corto de IA.
Skyreels-A1 tiene ventajas significativas en la implementación técnica, lo que respalda la generación de control de expresión de caras laterales, lo que puede lograr la generación de microexpresión de cejas y ojos más realistas y movimientos de cabeza y cuerpo naturales más grandes. En comparación con el acto de Runway, Skyreels-A1 no tiene distorsión en los videos generados, y los detalles de rendimiento son más realistas, lo que puede lograr una fusión natural y perfecta de expresiones y movimientos corporales, proporcionando más altos estándares técnicos para la creación de drama corto de IA.
Kunlun Wanwei siempre se ha adherido al concepto de código abierto y está comprometido a promover la igualdad tecnológica. Desde agosto de 2023, la compañía ha abierto sucesivamente múltiples modelos como la serie "Tiangong" Skywork-13B, el kit de herramientas de I + D de proceso completo de Digital Intelligent Body Agentstudio y el "Tiangong Big Model 3.0" 400 mil millones de parámetros Moe Super Model. Este código abierto Skyreels-V1 y Skyreels-A1 son los primeros casos en la industria del drama corto de IA, con el objetivo de traer capacidades AIGC de bajo costo y más controlables a los usuarios y promover la construcción continua y la prosperidad del ecosistema de drama corto de IA.
Fang Han, presidente y CEO de Kunlun Wanwei, dijo que la aparición de capacidades de AIGC reducirá significativamente el costo de la producción cinematográfica y promoverá la igualdad de derechos en la cultura. En el futuro, Kunlun Wanwei continuará abierta de código a más modelos y algoritmos de generación de videos, proporcionará más posibilidades para el desarrollo de la industria del drama corto de IA y promover la aplicación generalizada de la tecnología de IA en el campo de la creación de cine y televisión.
Dirección de código abierto:
Skyreels-V1
https://github.com/skyworkai/skyreels-v1
Skyreels-A1
https://github.com/skyworkai/skyreels-a1
Informe técnico: https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
Dirección oficial de Skyreels: Skyreels.ai