O projeto de código aberto Hallo da Universidade Fudan, uma ferramenta para gerar vídeos falados com base em áudio e imagens, agora suporta o plug-in ComfyUI. Através de um paradigma avançado de difusão ponta a ponta e um módulo de síntese visual baseado em áudio em camadas, o projeto alcança sincronização de áudio e visual de alta precisão, incluindo movimentos labiais, expressões e gestos, tornando os efeitos de vídeo gerados realistas e naturais. Embora o processo de instalação possa ser complicado, o surgimento do Hallo injetou uma nova vitalidade na comunidade de código aberto e proporcionou possibilidades mais amplas para o campo da geração de vídeo.
O projeto Hallo permite que fotos faciais comecem a falar inserindo áudio e, acompanhadas pelas expressões correspondentes, o efeito parece muito natural. Este projeto adota um paradigma de difusão ponta a ponta e introduz um módulo de síntese visual baseado em áudio em camadas para melhorar a precisão do alinhamento entre a entrada de áudio e a saída visual, incluindo movimentos de lábios, expressões e gestos.
Este módulo de síntese visual baseado em áudio em camadas fornece controle adaptativo sobre a diversidade de expressões e gestos, alcançando de forma mais eficaz a personalização personalizada para diferentes identidades. Isso significa que não importa de quem seja a foto facial, um vídeo falado pode ser gerado por meio do projeto Hallo, e o efeito será natural, como se uma pessoa real estivesse falando.
Embora o processo de instalação do projeto Hallo possa ser relativamente complicado, seu surgimento sem dúvida trouxe uma nova vitalidade ao ecossistema de código aberto. À medida que a tecnologia continua a se desenvolver, podemos esperar que mais projetos desse tipo apareçam no futuro, trazendo mais comodidade e diversão para nossas vidas.
Endereço do plug-in: https://github.com/AIFSH/ComfyUI-Hallo
Com seus excelentes efeitos de geração de vídeo e recursos de código aberto, o projeto Hallo oferece aos desenvolvedores e usuários um rico espaço criativo. Acredito que com o avanço da tecnologia e a contribuição da comunidade, o projeto Hallo terá funções mais poderosas e perspectivas de aplicação mais amplas, trazendo mais possibilidades para a criação de conteúdo multimídia. Esperamos ansiosamente por mais projetos inovadores semelhantes no futuro.