Investigadores de la Universidad Nacional de Singapur y la Universidad Purdue han desarrollado una tecnología innovadora llamada PAB que permite el procesamiento en tiempo real de la generación de vídeo basada en la transformación de difusión. Esta tecnología se basa en el modelo Diffusion Transformer (DiT) y mejora 10,6 veces la velocidad de generación de vídeo al reducir los cálculos de atención redundantes, alcanzando la asombrosa cifra de 21,6 fotogramas por segundo. PAB se puede aplicar a múltiples modelos populares de generación de video DiT, como Open-Sora, Open-Sora-Plan y Latte, sin capacitación adicional, sentando una base sólida para la futura tecnología de generación de video en tiempo real. No solo mejora en gran medida la velocidad de procesamiento, sino que también reduce significativamente la sobrecarga de comunicación entre múltiples GPU al tiempo que garantiza la calidad del video, proporcionando capacidades de inferencia distribuida más eficientes para la generación de video en tiempo real. La siguiente es una explicación más detallada de la tecnología PAB.
Recientemente, investigadores de la Universidad Nacional de Singapur y la Universidad Purdue propusieron con éxito la tecnología PAB para lograr el procesamiento en tiempo real de la generación de video basado en la conversión de difusión.
Entrada del producto: https://top.aibase.com/tool/pab
Esta tecnología es el primer intento de un modelo de generación de video basado en Diffusion Transformer (DiT), logrando una velocidad de generación de hasta 21,6 fotogramas por segundo al reducir los cálculos de atención redundantes, una aceleración de 10,6x, sin sacrificar la calidad. Funciona con varios DiT populares. Modelos de generación de vídeo, incluidos Open-Sora, Open-Sora-Plan y Latte. PAB es un método sin capacitación que puede potenciar futuros modelos de generación de video DiT con capacidades de generación en tiempo real. PAB no requiere capacitación y puede brindarle a cualquier futuro modelo de generación de video basado en transformación de difusión la capacidad de procesar en tiempo real.
Características importantes:
La transmisión de atención PAB mejora significativamente la velocidad de generación de video al reducir los cálculos de atención redundantes y logra la generación en tiempo real.
Según la estabilidad y la diferencia de atención, PAB establece diferentes rangos de transmisión para diferentes tipos de atención, minimizando así la pérdida de calidad y garantizando al mismo tiempo la eficiencia computacional.
Al mejorar la tecnología de procesamiento paralelo de secuencias, PAB reduce la sobrecarga de comunicación entre múltiples GPU y mejora aún más la velocidad y eficiencia de la generación de video.
Los investigadores descubrieron que el mecanismo de atención en el modelo de transformación de difusión de video tiene diferencias obvias entre los pasos de tiempo. A través de este descubrimiento, se propuso PAB para aliviar los cálculos de atención innecesarios. En la parte media estable, PAB transmite la salida de atención de un paso de difusión a múltiples pasos posteriores, lo que reduce significativamente el costo computacional. Además, para un cálculo más eficiente y minimizar la pérdida de calidad, se establecen diferentes rangos de transmisión para diferentes tipos de atención.
Para mejorar aún más la velocidad de generación de video, los investigadores mejoraron el método de procesamiento paralelo basado en el paralelismo de secuencia dinámica (DSP), que eliminó la mayor parte de la sobrecarga de comunicación al transmitir la atención del tiempo, logrando una reducción de más del 50% en la sobrecarga de comunicación. proporcionó una mejor solución para la generación de video en tiempo real. Proporciona capacidades de inferencia distribuida más eficientes.
Destacar:
⭐ La tecnología PAB permite la generación de video en tiempo real y acelera la velocidad de procesamiento 10,6 veces.
⭐ Al observar la diferencia en el mecanismo de atención del modelo de conversión de difusión de video, se propone PAB para aliviar los cálculos de atención innecesarios.
⭐ Al mejorar el método de procesamiento paralelo, la sobrecarga de comunicación se reduce considerablemente, lo que proporciona capacidades de inferencia distribuida más eficientes para la generación de video en tiempo real.
La aparición de la tecnología PAB marca un gran avance en la tecnología de generación de video en tiempo real, proporcionando potentes capacidades de procesamiento en tiempo real para futuros modelos de generación de video basados en la conversión de difusión y ampliando aún más las perspectivas de aplicación de la inteligencia artificial en el campo del video. Se cree que la tecnología PAB desempeñará un papel cada vez más importante en el campo de la generación de vídeo en el futuro.