Проект с открытым исходным кодом Университета Фудань Hallo, инструмент для создания разговорных видео на основе аудио и изображений, теперь поддерживает плагин ComfyUI. Благодаря передовой сквозной парадигме диффузии и многоуровневому модулю визуального синтеза на основе звука проект обеспечивает высокоточную аудио- и визуальную синхронизацию, включая движения губ, мимику и жесты, что делает создаваемые видеоэффекты реалистичными и естественными. Хотя процесс установки может быть сложным, появление Hallo вдохнуло новую жизнь в сообщество открытого исходного кода и открыло более широкие возможности для создания видео.
Проект Hallo позволяет фотографиям лиц начинать говорить при вводе звука, и в сопровождении соответствующих выражений эффект выглядит очень естественно. В этом проекте принята парадигма сквозного распространения и представлен многоуровневый модуль визуального синтеза на основе звука для повышения точности согласования между аудиовходом и визуальным выходом, включая движения губ, выражения и жесты.
Этот многоуровневый модуль визуального синтеза, управляемый звуком, обеспечивает адаптивный контроль над разнообразием выражений и жестов, более эффективно обеспечивая персонализированную настройку для различных личностей. Это означает, что независимо от того, чья это фотография лица, с помощью проекта Hallo можно создать говорящее видео, и эффект будет естественным, как будто разговаривает реальный человек.
Хотя процесс установки проекта Hallo может быть относительно сложным, его появление, несомненно, придало новую жизнь экосистеме с открытым исходным кодом. Поскольку технологии продолжают развиваться, мы можем ожидать, что в будущем появится больше таких проектов, которые принесут больше удобства и удовольствия в нашу жизнь.
Адрес плагина: https://github.com/AIFSH/ComfyUI-Hallo
Благодаря превосходным эффектам создания видео и функциям с открытым исходным кодом проект Hallo предоставляет разработчикам и пользователям богатое творческое пространство. Я считаю, что с развитием технологий и вкладом сообщества проект Hallo будет иметь более мощные функции и более широкие перспективы применения, предоставляя больше возможностей для создания мультимедийного контента. Мы с нетерпением ждем новых подобных инновационных проектов в будущем.