El proyecto de código abierto Hallo de la Universidad de Fudan, una herramienta para generar videos hablados basados en audio e imágenes, ahora es compatible con el complemento ComfyUI. A través de un paradigma avanzado de difusión de extremo a extremo y un módulo de síntesis visual basado en audio en capas, el proyecto logra una sincronización visual y de audio de alta precisión, incluidos movimientos de labios, expresiones y gestos, haciendo que los efectos de video generados sean realistas y naturales. Aunque el proceso de instalación puede ser complicado, la aparición de Hallo ha inyectado nueva vitalidad a la comunidad de código abierto y ha brindado posibilidades más amplias para el campo de la generación de videos.
El proyecto Hallo permite que las fotografías faciales comiencen a hablar ingresando audio y, acompañadas de las expresiones correspondientes, el efecto parece muy natural. Este proyecto adopta un paradigma de difusión de un extremo a otro e introduce un módulo de síntesis visual basado en audio en capas para mejorar la precisión de la alineación entre la entrada de audio y la salida visual, incluidos movimientos de labios, expresiones y gestos.
Este módulo de síntesis visual basado en audio en capas proporciona control adaptativo sobre la diversidad de expresiones y gestos, logrando de manera más efectiva una personalización personalizada para diferentes identidades. Esto significa que no importa de quién sea la foto del rostro, se puede generar un video parlante a través del proyecto Hallo y el efecto será natural, como si una persona real estuviera hablando.
Aunque el proceso de instalación del proyecto Hallo puede ser relativamente complicado, su aparición sin duda ha aportado nueva vitalidad al ecosistema de código abierto. A medida que la tecnología continúa desarrollándose, podemos esperar que aparezcan más proyectos de este tipo en el futuro, aportando más comodidad y diversión a nuestras vidas.
Dirección del complemento: https://github.com/AIFSH/ComfyUI-Hallo
Con sus excelentes efectos de generación de vídeo y funciones de código abierto, el proyecto Hallo ofrece a los desarrolladores y usuarios un rico espacio creativo. Creo que con el avance de la tecnología y la contribución de la comunidad, el proyecto Hallo tendrá funciones más poderosas y perspectivas de aplicación más amplias, brindando más posibilidades a la creación de contenido multimedia. Esperamos más proyectos innovadores similares en el futuro.