Le projet open source Hallo de l'Université de Fudan, un outil permettant de générer des vidéos parlantes basées sur l'audio et les images, prend désormais en charge le plug-in ComfyUI. Grâce à un paradigme de diffusion avancé de bout en bout et à un module de synthèse visuelle audio en couches, le projet atteint une synchronisation audio et visuelle de haute précision, y compris les mouvements des lèvres, les expressions et les gestes, rendant les effets vidéo générés réalistes et naturels. Bien que le processus d'installation puisse être compliqué, l'émergence de Hallo a insufflé une nouvelle vitalité à la communauté open source et a offert des possibilités plus larges dans le domaine de la génération vidéo.
Le projet Hallo permet aux photos faciales de commencer à parler en entrant de l'audio, et accompagnées des expressions correspondantes, l'effet semble très naturel. Ce projet adopte un paradigme de diffusion de bout en bout et introduit un module de synthèse visuelle audio en couches pour améliorer la précision de l'alignement entre l'entrée audio et la sortie visuelle, y compris les mouvements des lèvres, les expressions et les gestes.
Ce module de synthèse visuelle audio en couches offre un contrôle adaptatif sur la diversité des expressions et des gestes, permettant ainsi une personnalisation plus efficace pour différentes identités. Cela signifie que quelle que soit la photo du visage, une vidéo parlante peut être générée via le projet Hallo, et l'effet sera naturel, comme si une personne réelle parlait.
Bien que le processus d'installation du projet Hallo puisse être relativement compliqué, son émergence a sans aucun doute apporté une nouvelle vitalité à l'écosystème open source. À mesure que la technologie continue de se développer, nous pouvons nous attendre à ce que davantage de projets de ce type apparaissent à l’avenir, apportant plus de commodité et de plaisir à nos vies.
Adresse du plug-in : https://github.com/AIFSH/ComfyUI-Hallo
Avec ses excellents effets de génération vidéo et ses fonctionnalités open source, le projet Hallo offre aux développeurs et aux utilisateurs un riche espace de création. Je crois qu'avec les progrès de la technologie et la contribution de la communauté, le projet Hallo aura des fonctions plus puissantes et des perspectives d'application plus larges, apportant plus de possibilités à la création de contenu multimédia. Nous attendons avec impatience d’autres projets innovants similaires à l’avenir.