싱가포르 국립대학교와 퍼듀대학교의 연구원들은 확산 변환을 기반으로 비디오 생성의 실시간 처리를 가능하게 하는 PAB라는 획기적인 기술을 개발했습니다. 이 기술은 DiT(확산 변환기) 모델을 기반으로 하며 중복 주의 계산을 줄여 비디오 생성 속도를 10.6배 향상하여 놀라운 초당 21.6프레임에 도달합니다. PAB는 추가 교육 없이 Open-Sora, Open-Sora-Plan 및 Latte와 같은 여러 인기 DiT 비디오 생성 모델에 적용할 수 있어 미래 실시간 비디오 생성 기술을 위한 견고한 기반을 마련합니다. 처리 속도를 크게 향상시킬 뿐만 아니라 여러 GPU 간의 통신 오버헤드를 크게 줄이는 동시에 비디오 품질을 보장하여 실시간 비디오 생성을 위한 보다 효율적인 분산 추론 기능을 제공합니다. 다음은 PAB 기술에 대해 좀 더 자세히 설명합니다.
최근 싱가포르 국립대학교와 퍼듀대학교 연구진은 확산 변환을 기반으로 한 비디오 생성의 실시간 처리를 달성하기 위한 PAB 기술을 성공적으로 제안했습니다.
제품 입구: https://top.aibase.com/tool/pab
이 기술은 DiT(확산 변환기)를 기반으로 한 비디오 생성 모델의 첫 번째 시도로, 여러 인기 있는 DiT와 함께 작동하여 중복 주의 계산, 10.6배 가속을 줄여 초당 최대 21.6프레임의 생성 속도를 달성합니다. Open-Sora, Open-Sora-Plan 및 Latte를 포함한 비디오 생성 모델. PAB는 실시간 생성 기능을 통해 미래의 DiT 비디오 생성 모델을 강화할 수 있는 교육이 필요 없는 방법입니다. PAB는 교육이 필요하지 않으며 향후 확산 변환 기반 비디오 생성 모델에 실시간 처리 기능을 제공할 수 있습니다.
중요한 기능:
PAB 주의 방송은 중복된 주의 계산을 줄여 비디오 생성 속도를 크게 향상시키고 실시간 생성을 달성합니다.
PAB는 주의의 안정성과 차이를 기반으로 다양한 주의 유형에 대해 다양한 방송 범위를 설정하여 품질 손실을 최소화하는 동시에 계산 효율성을 보장합니다.
PAB는 시퀀스 병렬 처리 기술을 개선하여 여러 GPU 간의 통신 오버헤드를 줄이고 비디오 생성 속도와 효율성을 더욱 향상시킵니다.
연구자들은 비디오 확산 변환 모델에서 Attention 메커니즘의 시간 단계 간에 명백한 차이가 있음을 발견했습니다. 이 발견을 통해 불필요한 Attention 계산을 완화하기 위해 PAB가 제안되었습니다. 안정적인 중간 부분에서 PAB는 하나의 확산 단계의 주의 출력을 여러 후속 단계로 전파하여 계산 비용을 크게 줄입니다. 또한 보다 효율적인 계산과 품질 손실 최소화를 위해 다양한 주의 유형에 대해 다양한 방송 범위가 설정됩니다.
연구진은 영상 생성 속도를 더욱 향상시키기 위해 동적 순차 병렬 처리(DSP) 기반 병렬 처리 방식을 개선해 방송 시간 주의로 통신 오버헤드를 대부분 제거해 통신 오버헤드를 50% 이상 감소시키는 성과를 거뒀다. 실시간 영상 생성 제공 보다 효율적인 분산 추론 기능을 제공합니다.
하이라이트:
⭐ PAB 기술은 실시간 비디오 생성을 가능하게 하고 처리 속도를 10.6배 가속화합니다.
⭐ 비디오 확산 변환 모델의 Attention 메커니즘의 차이를 관찰하여 불필요한 Attention 계산을 완화하기 위해 PAB를 제안합니다.
⭐ 병렬 처리 방법을 개선하여 통신 오버헤드가 크게 줄어들고 실시간 비디오 생성을 위한 보다 효율적인 분산 추론 기능을 제공합니다.
PAB 기술의 출현은 확산 변환을 기반으로 하는 미래 비디오 생성 모델에 강력한 실시간 처리 기능을 제공하고 비디오 분야에서 인공 지능의 적용 가능성을 더욱 확대하여 실시간 비디오 생성 기술에 있어 획기적인 발전을 의미합니다. PAB 기술은 앞으로 비디오 생성 분야에서 점점 더 중요한 역할을 담당할 것으로 믿어집니다.