Pesquisadores da Universidade Nacional de Cingapura e da Universidade de Purdue desenvolveram uma tecnologia inovadora chamada PAB que permite o processamento em tempo real da geração de vídeo com base na transformação por difusão. Esta tecnologia é baseada no modelo Diffusion Transformer (DiT) e melhora a velocidade de geração de vídeo em 10,6 vezes, reduzindo cálculos de atenção redundantes, atingindo surpreendentes 21,6 quadros por segundo. O PAB pode ser aplicado a vários modelos populares de geração de vídeo DiT, como Open-Sora, Open-Sora-Plan e Latte, sem treinamento adicional, estabelecendo uma base sólida para a futura tecnologia de geração de vídeo em tempo real. Ele não apenas melhora muito a velocidade de processamento, mas também reduz significativamente a sobrecarga de comunicação entre várias GPUs, ao mesmo tempo que garante a qualidade do vídeo, fornecendo recursos de inferência distribuída mais eficientes para geração de vídeo em tempo real. A seguir está uma explicação mais detalhada da tecnologia PAB.
Recentemente, pesquisadores da Universidade Nacional de Cingapura e da Universidade de Purdue propuseram com sucesso a tecnologia PAB para obter processamento em tempo real de geração de vídeo com base na conversão de difusão.
Entrada do produto: https://top.aibase.com/tool/pab
Esta tecnologia é a primeira tentativa de um modelo de geração de vídeo baseado em Diffusion Transformer (DiT), alcançando uma velocidade de geração de até 21,6 quadros por segundo, reduzindo cálculos de atenção redundantes, uma aceleração de 10,6x, sem sacrificar a qualidade. Funciona com vários DiT populares. modelos de geração de vídeo, incluindo Open-Sora, Open-Sora-Plan e Latte. PAB é um método sem treinamento que pode capacitar futuros modelos de geração de vídeo DiT com recursos de geração em tempo real. O PAB não requer treinamento e pode fornecer a qualquer modelo futuro de geração de vídeo baseado em transformação de difusão a capacidade de processamento em tempo real.
Recursos importantes:
A transmissão de atenção PAB melhora significativamente a velocidade de geração de vídeo, reduzindo cálculos de atenção redundantes e alcançando geração em tempo real.
Com base na estabilidade e na diferença de atenção, o PAB define diferentes faixas de transmissão para diferentes tipos de atenção, minimizando assim a perda de qualidade e garantindo a eficiência computacional.
Ao melhorar a tecnologia de processamento paralelo de sequência, o PAB reduz a sobrecarga de comunicação entre várias GPUs e melhora ainda mais a velocidade e a eficiência da geração de vídeo.
Os pesquisadores descobriram que existem diferenças óbvias entre os intervalos de tempo no mecanismo de atenção no modelo de transformação de difusão de vídeo. Através desta descoberta, o PAB foi proposto para aliviar cálculos de atenção desnecessários. Na parte intermediária estável, o PAB transmite a saída de atenção de uma etapa de difusão para várias etapas subsequentes, reduzindo significativamente o custo computacional. Além disso, para uma computação mais eficiente e para minimizar a perda de qualidade, diferentes faixas de transmissão são definidas para diferentes tipos de atenção.
A fim de melhorar ainda mais a velocidade de geração de vídeo, os pesquisadores aprimoraram o método de processamento paralelo baseado no paralelismo de sequência dinâmica (DSP), que eliminou a maior parte da sobrecarga de comunicação ao transmitir a atenção do tempo, alcançando uma redução de mais de 50% na sobrecarga de comunicação, e forneceu geração de vídeo em tempo real Fornece recursos de inferência distribuída mais eficientes.
Destaques:
⭐ A tecnologia PAB permite a geração de vídeo em tempo real e acelera a velocidade de processamento em 10,6 vezes.
⭐ Ao observar a diferença no mecanismo de atenção do modelo de conversão de difusão de vídeo, o PAB se propõe a aliviar cálculos de atenção desnecessários.
⭐ Ao melhorar o método de processamento paralelo, a sobrecarga de comunicação é bastante reduzida, fornecendo recursos de inferência distribuída mais eficientes para geração de vídeo em tempo real.
O surgimento da tecnologia PAB marca um grande avanço na tecnologia de geração de vídeo em tempo real, fornecendo poderosas capacidades de processamento em tempo real para futuros modelos de geração de vídeo baseados na conversão de difusão e expandindo ainda mais as perspectivas de aplicação da inteligência artificial no campo de vídeo. Acredita-se que a tecnologia PAB desempenhará um papel cada vez mais importante no campo da geração de vídeo no futuro.