Des chercheurs de l'Université nationale de Singapour et de l'Université Purdue ont développé une technologie révolutionnaire appelée PAB qui permet un traitement en temps réel de la génération vidéo basé sur la transformation de diffusion. Cette technologie est basée sur le modèle Diffusion Transformer (DiT) et améliore la vitesse de génération vidéo de 10,6 fois en réduisant les calculs d'attention redondants, atteignant un étonnant 21,6 images par seconde. PAB peut être appliqué à plusieurs modèles de génération vidéo DiT populaires, tels que Open-Sora, Open-Sora-Plan et Latte, sans formation supplémentaire, établissant ainsi une base solide pour la future technologie de génération vidéo en temps réel. Non seulement il améliore considérablement la vitesse de traitement, mais il réduit également considérablement la surcharge de communication entre plusieurs GPU tout en garantissant la qualité vidéo, offrant ainsi des capacités d'inférence distribuées plus efficaces pour la génération vidéo en temps réel. Ce qui suit est une explication plus détaillée de la technologie PAB.
Récemment, des chercheurs de l'Université nationale de Singapour et de l'Université Purdue ont proposé avec succès la technologie PAB pour réaliser un traitement en temps réel de la génération vidéo basé sur la conversion par diffusion.
Entrée du produit : https://top.aibase.com/tool/pab
Cette technologie est la première tentative d'un modèle de génération vidéo basé sur le transformateur de diffusion (DiT), atteignant une vitesse de génération allant jusqu'à 21,6 images par seconde en réduisant les calculs d'attention redondants, une accélération de 10,6x, sans sacrifier la qualité. Fonctionne avec plusieurs DiT populaires. modèles de génération vidéo, notamment Open-Sora, Open-Sora-Plan et Latte. PAB est une méthode sans formation qui peut doter les futurs modèles de génération vidéo DiT de capacités de génération en temps réel. PAB ne nécessite aucune formation et peut donner à tout futur modèle de génération vidéo basé sur la transformation de diffusion la capacité de traiter en temps réel.
Caractéristiques importantes :
La diffusion d'attention PAB améliore considérablement la vitesse de génération vidéo en réduisant les calculs d'attention redondants et permet une génération en temps réel.
Sur la base de la stabilité et de la différence d'attention, PAB définit différentes plages de diffusion pour différents types d'attention, minimisant ainsi la perte de qualité tout en garantissant l'efficacité des calculs.
En améliorant la technologie de traitement parallèle de séquences, PAB réduit la surcharge de communication entre plusieurs GPU et améliore encore la vitesse et l'efficacité de la génération vidéo.
Les chercheurs ont découvert que le mécanisme d'attention dans le modèle de transformation de diffusion vidéo présente des différences évidentes entre les pas de temps. Grâce à cette découverte, il a été proposé que PAB atténue les calculs d'attention inutiles. Dans la partie médiane stable, PAB diffuse l’attention d’une étape de diffusion vers plusieurs étapes suivantes, réduisant ainsi considérablement le coût de calcul. De plus, pour un calcul plus efficace et minimiser la perte de qualité, différentes plages de diffusion sont définies pour différents types d'attention.
Afin d'améliorer encore la vitesse de génération vidéo, les chercheurs ont amélioré la méthode de traitement parallèle basée sur le parallélisme de séquence dynamique (DSP), qui a éliminé la majeure partie de la surcharge de communication en diffusant l'attention du temps, obtenant ainsi une réduction de plus de 50 % de la surcharge de communication, et a fourni une meilleure solution pour la génération vidéo en temps réel. Fournit des capacités d'inférence distribuée plus efficaces.
Souligner:
⭐ La technologie PAB permet la génération vidéo en temps réel et accélère la vitesse de traitement de 10,6 fois.
⭐ En observant la différence dans le mécanisme d'attention du modèle de conversion de diffusion vidéo, il est proposé que PAB atténue les calculs d'attention inutiles.
⭐ En améliorant la méthode de traitement parallèle, la surcharge de communication est considérablement réduite, offrant des capacités d'inférence distribuée plus efficaces pour la génération vidéo en temps réel.
L'émergence de la technologie PAB marque une avancée majeure dans la technologie de génération vidéo en temps réel, offrant de puissantes capacités de traitement en temps réel pour les futurs modèles de génération vidéo basés sur la conversion par diffusion, et élargissant encore les perspectives d'application de l'intelligence artificielle dans le domaine vidéo. On pense que la technologie PAB jouera à l’avenir un rôle de plus en plus important dans le domaine de la génération vidéo.