Para peneliti dari Universitas Nasional Singapura dan Universitas Purdue telah mengembangkan teknologi terobosan yang disebut PAB yang memungkinkan pemrosesan pembuatan video secara real-time berdasarkan transformasi difusi. Teknologi ini didasarkan pada model Diffusion Transformer (DiT) dan meningkatkan kecepatan pembuatan video sebesar 10,6 kali lipat dengan mengurangi penghitungan perhatian yang berlebihan, hingga mencapai 21,6 frame per detik. PAB dapat diterapkan pada beberapa model pembuatan video DiT yang populer, seperti Open-Sora, Open-Sora-Plan, dan Latte, tanpa pelatihan tambahan, sehingga meletakkan dasar yang kuat untuk teknologi pembuatan video real-time di masa depan. Ini tidak hanya meningkatkan kecepatan pemrosesan secara signifikan, namun juga secara signifikan mengurangi overhead komunikasi antara beberapa GPU sekaligus memastikan kualitas video, memberikan kemampuan inferensi terdistribusi yang lebih efisien untuk pembuatan video real-time. Berikut penjelasan lebih detail mengenai teknologi PAB.
Baru-baru ini, peneliti dari Universitas Nasional Singapura dan Universitas Purdue berhasil mengusulkan teknologi PAB untuk mencapai pemrosesan pembuatan video secara real-time berdasarkan konversi difusi.
Pintu masuk produk: https://top.aibase.com/tool/pab
Teknologi ini merupakan upaya pertama pada model pembuatan video berdasarkan Diffusion Transformer (DiT), yang mencapai kecepatan pembangkitan hingga 21,6 frame per detik dengan mengurangi penghitungan perhatian yang berlebihan, akselerasi 10,6x, tanpa mengorbankan kualitas model pembuatan video, termasuk Open-Sora, Open-Sora-Plan dan Latte. PAB adalah metode bebas pelatihan yang dapat memberdayakan model pembuatan video DiT masa depan dengan kemampuan pembuatan waktu nyata. PAB tidak memerlukan pelatihan dan dapat memberikan model pembuatan video berbasis transformasi difusi di masa depan kemampuan untuk memproses secara real time.
Fitur penting:
Penyiaran perhatian PAB secara signifikan meningkatkan kecepatan pembuatan video dengan mengurangi penghitungan perhatian yang berlebihan dan mencapai pembuatan waktu nyata.
Berdasarkan stabilitas dan perbedaan perhatian, PAB menetapkan rentang siaran yang berbeda untuk berbagai jenis perhatian, sehingga meminimalkan kehilangan kualitas sekaligus memastikan efisiensi komputasi.
Dengan meningkatkan teknologi pemrosesan paralel urutan, PAB mengurangi overhead komunikasi antara beberapa GPU dan selanjutnya meningkatkan kecepatan dan efisiensi pembuatan video.
Para peneliti menemukan bahwa mekanisme perhatian dalam model transformasi difusi video memiliki perbedaan yang jelas antar langkah waktu. Melalui penemuan ini, PAB diusulkan untuk meringankan penghitungan perhatian yang tidak perlu. Di bagian tengah yang stabil, PAB menyiarkan keluaran perhatian dari satu langkah difusi ke beberapa langkah berikutnya, sehingga mengurangi biaya komputasi secara signifikan. Selain itu, untuk komputasi yang lebih efisien dan meminimalkan kehilangan kualitas, rentang siaran yang berbeda ditetapkan untuk jenis perhatian yang berbeda.
Untuk lebih meningkatkan kecepatan pembuatan video, para peneliti meningkatkan metode pemrosesan paralel berdasarkan paralelisme urutan dinamis (DSP), yang menghilangkan sebagian besar overhead komunikasi dengan memperhatikan waktu penyiaran, mencapai pengurangan overhead komunikasi lebih dari 50%, dan memberikan solusi yang lebih baik untuk pembuatan video waktu nyata. Memberikan kemampuan inferensi terdistribusi yang lebih efisien.
Menyorot:
⭐ Teknologi PAB memungkinkan pembuatan video waktu nyata dan mempercepat kecepatan pemrosesan hingga 10,6 kali lipat.
⭐ Dengan mengamati perbedaan mekanisme perhatian model konversi difusi video, PAB diusulkan untuk mengurangi perhitungan perhatian yang tidak perlu.
⭐ Dengan meningkatkan metode pemrosesan paralel, overhead komunikasi berkurang secara signifikan, sehingga memberikan kemampuan inferensi terdistribusi yang lebih efisien untuk pembuatan video waktu nyata.
Munculnya teknologi PAB menandai terobosan besar dalam teknologi pembuatan video waktu nyata, memberikan kemampuan pemrosesan waktu nyata yang kuat untuk model pembuatan video masa depan berdasarkan konversi difusi, dan semakin memperluas prospek penerapan kecerdasan buatan di bidang video. Teknologi PAB diyakini akan semakin berperan penting dalam bidang pembuatan video di masa depan.