Недавно Nvidia выпустила модель генерации видео под названием Magic1-For-1, которая вновь обновляла восприятие людей созданием видео с искусственным интеллектом. Самая большая модель этой модели заключается в том, что она может генерировать полный одноминутный видеоконтент всего за одну минуту, действительно достигнув «волшебного» эффекта «мгновенного поколения». Эта прорывная технология не только демонстрирует огромный потенциал ИИ в области генерации видео, но также предоставляет новые возможности для будущего создания цифрового контента.
Основное инновация модели Magic1-FOR-1 заключается в том, что она разбивает сложную задачу генерации текста-Video на два более легко обработанных шага диффузии: «генерация текста-изображения» и «генерация изображения-видео». Эта стратегия разложения не только уменьшает сложность модельного обучения, но и значительно улучшает скорость и эффективность поколения. Исследователи отметили, что при одном и том же алгоритме оптимизации весь процесс генерации модели Magic1-FOR-1 легче сходиться, тем самым достигая более быстрой и стабильной генерации видео. Успех этой технологии отражается не только в сбережениях времени, но и в ее эффективной оптимизации задержек потребления памяти и выводов, что делает процесс создания высококачественных видеороликов более плавными и эффективными.
Эта технология прорыва не была выполнена независимо от Nvidia, но была запущена командами из исследовательских учреждений, таких как Peking University и Hedra Inc. Они суммировали основную идею модели «Magic1-For-1» как «для упрощения сложности». Разбивая сложный процесс текста к Video на два более простых шага, исследовательская группа в полной мере воспользовалась относительно зрелыми и эффективными преимуществами «генерации текста до изображения», тем самым ускоряя весь процесс генерации видео. Успех этого метода отражается не только в сбережениях времени, но и в его эффективной оптимизации потребления памяти и задержек вывода, что делает процесс создания высококачественных видеороликов более плавными и эффективными.
На уровне технической реализации модель «Magic1-For-1» использует Advanced Step Distillation Algorithms, стремясь обучить модель «генератора» для создания высококачественного видео всего за несколько шагов. Для достижения этой цели исследовательская группа также умело разработала две вспомогательные модели для приближения реального распределения данных и создания распределения данных. Точно выравнивая эти распределения, модель «генератор» может учиться более эффективно и генерировать более реалистичный видеоконтент. Кроме того, модель имеет инновационную технологию дистилляции CFG, что еще больше снизило вычислительные накладные расходы в процессе вывода, тем самым достигая скачка скорости генерации, обеспечивая при этом качество видео.
Чтобы визуально продемонстрировать мощное исполнение модели «Magic1-For-1», исследователи продемонстрировали прекрасную демонстрацию. Результаты показывают, что модель может генерировать потрясающие высококачественные видео всего за 50 или даже 4 шага. Среди них 50-ступенчатая версия видео показывает богатые детали движения и композиции, с яркими и нежными картинками; В то время как 4-ступенчатая версия больше фокусируется на демонстрации эффективных возможностей обработки модели, и ее скорость генерации впечатляет. Что еще более удивительно, так это то, что с помощью метода скользящего окна модель «Magic1-For-1» может даже генерировать захватывающие видео, которые длится до одной минуты, обеспечивая при этом превосходное визуальное качество и плавное спортивное представление.
Появление модели «Magic1-For-1» не только вызвало революционные изменения в области создания видео, но и предоставило новые идеи и направления для будущей разработки технологий генерации цифровых контентов. Можно предположить, что с непрерывной популяризацией и применением этой технологии она неизбежно привлечет широкое внимание больше создателей и разработчиков и будет эффективно способствовать быстрому развитию и процветанию всей индустрии генерации видео с искусственным интеллектом.
Адрес проекта: https://magic-141.github.io/magic-141/