Исследователи из Национального университета Сингапура и Университета Пердью разработали революционную технологию под названием PAB, которая позволяет обрабатывать видео, генерируемое в реальном времени, на основе диффузионного преобразования. Эта технология основана на модели диффузионного трансформатора (DiT) и повышает скорость генерации видео в 10,6 раз за счет сокращения избыточных вычислений внимания, достигая ошеломляющих 21,6 кадров в секунду. PAB можно применять к нескольким популярным моделям генерации видео DiT, таким как Open-Sora, Open-Sora-Plan и Latte, без дополнительного обучения, закладывая прочную основу для будущих технологий генерации видео в реальном времени. Это не только значительно повышает скорость обработки, но также значительно снижает затраты на связь между несколькими графическими процессорами, обеспечивая при этом качество видео, предоставляя более эффективные возможности распределенного вывода для генерации видео в реальном времени. Ниже приводится более подробное объяснение технологии PAB.
Недавно исследователи из Национального университета Сингапура и Университета Пердью успешно предложили технологию PAB для обработки генерации видео в реальном времени на основе диффузионного преобразования.
Вход в продукт: https://top.aibase.com/tool/pab
Эта технология является первой попыткой создания модели генерации видео на основе диффузионного трансформатора (DiT), обеспечивающей скорость генерации до 21,6 кадров в секунду за счет сокращения избыточных вычислений внимания, ускорения в 10,6 раза без ущерба для качества. Работает с несколькими популярными DiT. модели генерации видео, включая Open-Sora, Open-Sora-Plan и Latte. PAB — это метод, не требующий обучения, который может расширить будущие модели создания видео DiT возможностями генерации в реальном времени. PAB не требует обучения и может дать любой будущей модели генерации видео на основе диффузионного преобразования возможность обработки в реальном времени.
Важные особенности:
Трансляция внимания PAB значительно повышает скорость создания видео за счет сокращения избыточных вычислений внимания и обеспечивает генерацию в реальном времени.
Основываясь на стабильности и различии внимания, PAB устанавливает разные диапазоны вещания для разных типов внимания, тем самым сводя к минимуму потерю качества и одновременно обеспечивая эффективность вычислений.
Совершенствуя технологию последовательной параллельной обработки, PAB снижает накладные расходы на связь между несколькими графическими процессорами и дополнительно повышает скорость и эффективность генерации видео.
Исследователи обнаружили, что существуют очевидные различия между временными шагами в механизме внимания в модели преобразования видеодиффузии. Благодаря этому открытию было предложено использовать PAB для облегчения ненужных вычислений внимания. В стабильной средней части PAB транслирует результаты внимания одного этапа диффузии на несколько последующих шагов, тем самым значительно снижая вычислительные затраты. Кроме того, для более эффективных вычислений и минимизации потерь качества для разных типов внимания устанавливаются разные диапазоны вещания.
Чтобы еще больше повысить скорость генерации видео, исследователи усовершенствовали метод параллельной обработки, основанный на динамическом параллелизме последовательностей (DSP), который устранил большую часть накладных расходов на связь за счет трансляции внимания к времени, добившись сокращения накладных расходов на связь более чем на 50% и обеспечивает генерацию видео в реальном времени. Обеспечивает более эффективные возможности распределенного вывода.
Основные моменты:
⭐ Технология PAB позволяет генерировать видео в реальном времени и ускоряет скорость обработки в 10,6 раз.
⭐ Наблюдая за различием в механизме внимания модели преобразования видеодиффузии, PAB предлагается облегчить ненужные вычисления внимания.
⭐ За счет улучшения метода параллельной обработки значительно сокращаются затраты на связь, обеспечивая более эффективные возможности распределенного вывода для генерации видео в реальном времени.
Появление технологии PAB знаменует собой крупный прорыв в технологии генерации видео в реальном времени, обеспечивая мощные возможности обработки в реальном времени для будущих моделей генерации видео на основе диффузионного преобразования и еще больше расширяя перспективы применения искусственного интеллекта в области видео. Считается, что в будущем технология PAB будет играть все более важную роль в области генерации видео.