Recentemente, Goku, um modelo de geração de vídeo móvel desenvolvido pela Universidade de Hong Kong e Bytedance, foi lançado oficialmente. Este modelo usa algoritmos avançados de geração para gerar conteúdo de vídeo de alta qualidade com base em avisos de texto, enriquecendo bastante a expressão da arte digital.
Para demonstrar o poder do modelo Goku, a equipe de pesquisa criou uma série de maravilhosos exemplos de vídeo que não apenas demonstram os recursos técnicos do modelo, mas também demonstram seu potencial ilimitado no desempenho criativo.
O modelo Goku é caracterizado por sua eficiente velocidade de geração e qualidade da imagem. Ao usar uma grande quantidade de treinamento de dados, o Goku pode gerar várias cenas, incluindo animação, cenário natural, comportamento animal etc. Os pesquisadores usaram o prompt original do MovieGenbench para testes, garantindo consistência e justiça do efeito de demonstração.
Por exemplo, um dos vídeos mostra uma mulher elegante andando com confiança nas ruas de Tóquio, com luzes de neon coloridas refletindo a noite quente, e os pedestres estão agitados com as cenas vívidas e realistas.
Outro vídeo mostra vários mamutes gigantes andando de lazer na neve, com as montanhas e bosques de neve circundantes fazendo as pessoas se sentirem como se estivessem em um mundo de gelo e neve. Essas cenas vívidas não apenas atraem a atenção do público, mas também fornecem inspiração rica para os criadores artísticos.
O mais incrível é que o Goku também suporta geração direta de vídeos humanos digitais virtuais. Goku+ converte texto em vídeos humanos surreais, que são significativamente melhores que os métodos existentes. Em particular, ele pode gerar vídeos em 20 segundos, com movimentos estáveis das mãos e movimentos faciais e corporais altamente expressivos de seres humanos.
Além disso, ele suporta funções como gerar vídeos interativos a partir de imagens do produto, manter estilos de produtos e gerar vídeos de exibição de produtos e gerar vídeos de publicidade a partir de texto.
Como mostrado abaixo: Goku+ converte imagens do produto em clipes de vídeo envolventes para garantir a otimização de ponta a ponta. Esse processo aprimora o apelo e a eficácia de seus materiais de marketing.
Como mostrado abaixo: Crie vídeos realistas e atraentes que mostrem produtos específicos. Esses vídeos capturam efetivamente a essência do produto e aumentam o envolvimento e o interesse do público.
Além disso, o modelo suporta a criação de texto de vídeos de alta definição personalizados para otimizar cenários de publicidade, o que é significativamente melhor que os modelos de vídeo básicos dos concorrentes.
Entrada do projeto: https://saiyan-world.github.io/goku/