Le 18 février, Kunlun Wanwei a annoncé l'open source du premier modèle de génération vidéo chinois pour la création de drame courte de l'IA Skyreels-V1 et le premier algorithme contrôlable d'action d'expression de Sota-Level Skyreels-A1. Cette décision majeure marque une étape importante dans le domaine de la génération de vidéos IA en Chine, visant à résoudre les obstacles techniques et les problèmes de commercialisation existant dans le modèle actuel de génération de vidéos d'IA et injecter une nouvelle vitalité dans l'industrie du théâtre courte de l'IA.
En tant que premier modèle de génération vidéo open source de Chine pour la création de théâtre courte de l'IA, Skyreels-V1 possède une architecture technique qui intègre plusieurs modules tels que la génération de lèvres, la génération d'expression et la génération de corps, atteignant un contrôle précis des détails des performances des personnages. Ce modèle est formé et affiné par des dizaines de millions de données hollywoodiennes de haute qualité, ce qui améliore considérablement la contrôlabilité de la génération d'expression et de la génération de corps, et fournit un fort soutien technique pour la création de drame courte de l'IA.
Skyreels-V1 soutient une combinaison diversifiée de 33 expressions de caractères délicates et plus de 400 mouvements naturels, qui peuvent très bien restaurer des expressions émotionnelles réelles. Les vidéos qu'elle génère non seulement ont l'esthétique de lumière et l'ombre au niveau du film et la texture d'image, mais peuvent également réaliser la génération de performances de micro-expression au niveau du film des personnages. Il convient particulièrement de mentionner que Skyreels-V1 prend en charge la vidéo Wensheng, mais prend également en charge la vidéo de Tiesheng.
Au niveau de la mise en œuvre technique, Skyreels-V1 s'appuie sur le pipeline de nettoyage de données et d'étiquetage manuel de haute qualité développé par Kunlun Wanwei pour construire des dizaines de millions de films de films, de séries télévisés et de données documentaires de haute qualité. L'équipe a également développé le modèle multimodal de compréhension vidéo «centré sur l'homme», ce qui a considérablement amélioré la compréhension des personnages dans la vidéo et a fourni une base technique solide pour le contrôle précis du modèle.
SkyReels-A1 est le premier algorithme contrôlable d'expression basé sur le modèle de base de modèle de niveau SOTA, qui prend en charge la capture d'expression au niveau du film basée sur la vidéo et réalise la restauration de micro-expression à haute fidélité. Cet algorithme peut générer des vidéos dynamiques de caractère très réalistes basées sur toutes les proportions du corps humain.
Skyreels-A1 présente des avantages significatifs dans la mise en œuvre technique, soutenant la génération de contrôle d'expression des faces latérales, qui peuvent atteindre des sourcils plus réalistes et une génération de micro-expression oculaire et des mouvements de la tête et du corps naturel plus grands. Comparé à l'acte-one de Runway, Skyreels-A1 n'a aucune distorsion dans les vidéos générées, et les détails des performances sont plus réalistes, ce qui peut réaliser une fusion naturelle et parfaite d'expressions et de mouvements corporels, fournissant des normes techniques plus élevées pour la création de drame courte de l'IA.
Kunlun Wanwei a toujours adhéré au concept d'open source et s'est engagé à promouvoir l'égalité technologique. Depuis août 2023, la société a successivement ouvert plusieurs modèles tels que la série "Tiangong" Skywork-13B, la boîte à outils R&D en pleine processus de Digital Intelligent Body AgentStudio et le modèle MOE Super de "Tiangong Big Model 3.0" 400 milliards de paramètres MOE. Cette open source Skyreels-V1 et Skyreels-A1 sont les premiers cas de l'industrie du théâtre court IA, visant à apporter des capacités AIGC à faible coût et plus contrôlables aux utilisateurs et à promouvoir la construction et la prospérité continues de l'écosystème dramatique court IA.
Fang Han, président-directeur général de Kunlun Wanwei, a déclaré que l'émergence des capacités de l'AIGC réduirait considérablement le coût de la production cinématographique et promouvra l'égalité des droits en culture. À l'avenir, Kunlun Wanwei continuera à open source davantage de modèles et d'algorithmes de génération de vidéos, offrira plus de possibilités pour le développement de l'industrie dramatique courte de l'IA et favorise l'application généralisée de la technologie d'IA dans le domaine de la création cinématographique et télévisée.
Adresse open source:
Skyreels-v1
https://github.com/skyworkai/skyreels-v1
Skyreels-a1
https://github.com/skyworkai/skyreels-a1
Rapport technique: https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
Skyreels Adresse officielle: Skyreels.ai