Em 18 de fevereiro, Kunlun Wanwei anunciou o código aberto do primeiro modelo de geração de vídeo da China para o drama curto da AI Criação Skyreels-V1 e a primeira ação de expressão de expressão do nível SOTA Skyreels-A1. Esse grande movimento marca uma etapa importante no campo de geração de vídeo da AI na China, com o objetivo de resolver as barreiras técnicas e os problemas de comercialização existentes no atual modelo de geração de vídeo da IA e injetar nova vitalidade na indústria de drama curta da IA.
Como o primeiro modelo de geração de vídeo de código aberto da China para a criação de drama curta da IA, o Skyreels-V1 possui uma arquitetura técnica que integra vários módulos, como geração labial, geração de expressão e geração corporal, alcançando o controle preciso dos detalhes das performances dos caracteres. Este modelo é treinado e ajustado por dezenas de milhões de dados de Hollywood de alta qualidade, o que melhora significativamente a controlabilidade da geração de expressão e geração do corpo, e fornece um forte suporte técnico para a criação de drama curta da IA.
O Skyreels-V1 suporta uma combinação diversificada de 33 expressões delicadas de caráter e mais de 400 movimentos naturais, que podem restaurar as expressões emocionais da vida real. Os vídeos que ele gera não apenas têm a estética da luz e das sombras no nível do filme e a textura da imagem, mas também podem alcançar a geração de performances de microexpressão no nível do filme. Vale a pena mencionar particularmente que o Skyreels-V1 não apenas suporta o vídeo de Wensheng, mas também suporta o vídeo do Tiesheng.
No nível de implementação técnica, o Skyreels-V1 depende da limpeza de dados de alta qualidade e do pipeline de rotulagem manual desenvolvido por Kunlun Wanwei para criar dezenas de milhões de filmes, séries de TV e dados documentais de alta qualidade. A equipe também desenvolveu o modelo multimodal "centrado em humanos", que melhorou significativamente o entendimento dos caracteres no vídeo e forneceu uma base técnica sólida para o controle preciso do modelo.
O Skyreels-A1 é o primeiro algoritmo controlável de ação baseado em modelo de modelo de base de vídeo de vídeo SOTA, que suporta a captura de expressão em nível de filme orientada por vídeo e realiza a restauração de microexpressão de alta fidelidade. Esse algoritmo pode gerar vídeos dinâmicos de caráter altamente realistas com base em qualquer proporção do corpo humano.
O Skyreels-A1 tem vantagens significativas na implementação técnica, apoiando a geração de controle de expressão de faces laterais, que podem obter geração de microexpressão de sobrancelha e ocular mais realista e movimentos maiores da cabeça e do corpo naturais. Comparado com o ACONE da Runway, o Skyreels-A1 não tem distorção nos vídeos gerados, e os detalhes de desempenho são mais realistas, o que pode obter uma fusão natural e perfeita de expressões e movimentos corporais, fornecendo padrões técnicos mais altos para a criação de drama curta da IA.
Kunlun Wanwei sempre aderiu ao conceito de código aberto e está comprometido em promover a igualdade tecnológica. Desde agosto de 2023, a empresa abre sucessivamente vários modelos, como a série Skywork-13B "Tiangong", o kit de ferramentas de P&D de processo completo do Digital Intelligent Body AgentStudio e o "Tiangong Big Model 3.0" 400 bilhões de parâmetros Moe Model. Este Skyreels-V1 de código aberto e Skyreels-A1 são os primeiros casos da indústria de drama curta da IA, com o objetivo de trazer recursos de AIGC de baixo custo e mais controláveis aos usuários e promover a construção contínua e a prosperidade do ecossistema de drama curto da IA.
Fang Han, presidente e CEO da Kunlun Wanwei, disse que o surgimento dos recursos da AIGC reduzirá significativamente o custo da produção de filmes e promoverá direitos iguais na cultura. No futuro, Kunlun Wanwei continuará a abrir mais modelos e algoritmos de geração de vídeos, fornecerá mais possibilidades para o desenvolvimento da indústria de drama curta da IA e promover a aplicação generalizada da tecnologia de IA no campo da criação de filmes e televisão.
Endereço de código aberto:
Skyreels-V1
https://github.com/skyworkai/skyreels-v1
Skyreels-A1
https://github.com/skyworkai/skyreels-a1
Relatório Técnico: https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
Skyreels Endereço Oficial: Skyreels.ai