นักวิจัยจากมหาวิทยาลัยแห่งชาติสิงคโปร์และมหาวิทยาลัย Purdue ได้พัฒนาเทคโนโลยีล้ำสมัยที่เรียกว่า PAB ซึ่งช่วยให้สามารถประมวลผลการสร้างวิดีโอแบบเรียลไทม์โดยอาศัยการแปลงการแพร่กระจาย เทคโนโลยีนี้ใช้โมเดล Diffusion Transformer (DiT) และปรับปรุงความเร็วในการสร้างวิดีโอขึ้น 10.6 เท่าโดยลดการคำนวณความสนใจซ้ำซ้อน ได้ถึง 21.6 เฟรมต่อวินาทีอย่างน่าอัศจรรย์ PAB สามารถนำไปใช้กับโมเดลการสร้างวิดีโอ DiT ยอดนิยมหลายรุ่น เช่น Open-Sora, Open-Sora-Plan และ Latte โดยไม่ต้องมีการฝึกอบรมเพิ่มเติม ซึ่งเป็นการวางรากฐานที่มั่นคงสำหรับเทคโนโลยีการสร้างวิดีโอแบบเรียลไทม์ในอนาคต ไม่เพียงปรับปรุงความเร็วในการประมวลผลอย่างมาก แต่ยังช่วยลดค่าใช้จ่ายในการสื่อสารระหว่าง GPU หลายตัวลงอย่างมาก ในขณะเดียวกันก็รับประกันคุณภาพของวิดีโอ ทำให้มีความสามารถในการอนุมานแบบกระจายที่มีประสิทธิภาพมากขึ้นสำหรับการสร้างวิดีโอแบบเรียลไทม์ ต่อไปนี้เป็นคำอธิบายโดยละเอียดเพิ่มเติมเกี่ยวกับเทคโนโลยี PAB
เมื่อเร็วๆ นี้ นักวิจัยจากมหาวิทยาลัยแห่งชาติสิงคโปร์และมหาวิทยาลัย Purdue ประสบความสำเร็จในการนำเสนอเทคโนโลยี PAB เพื่อให้บรรลุการประมวลผลการสร้างวิดีโอแบบเรียลไทม์โดยอาศัยการแปลงแบบแพร่กระจาย
ทางเข้าผลิตภัณฑ์: https://top.aibase.com/tool/pab
เทคโนโลยีนี้เป็นความพยายามครั้งแรกในการสร้างโมเดลวิดีโอที่ใช้ Diffusion Transformer (DiT) ซึ่งบรรลุความเร็วการสร้างสูงสุด 21.6 เฟรมต่อวินาที โดยการลดการคำนวณความสนใจซ้ำซ้อน การเร่งความเร็ว 10.6 เท่า โดยไม่กระทบต่อคุณภาพ ทำงานร่วมกับ DiT ยอดนิยมหลายตัว โมเดลการสร้างวิดีโอ ได้แก่ Open-Sora, Open-Sora-Plan และ Latte PAB เป็นวิธีการที่ไม่ต้องใช้การฝึกอบรม ซึ่งสามารถเพิ่มศักยภาพให้กับโมเดลการสร้างวิดีโอ DiT ในอนาคตด้วยความสามารถในการสร้างแบบเรียลไทม์ PAB ไม่ต้องการการฝึกอบรม และสามารถให้โมเดลการสร้างวิดีโอที่อิงการเปลี่ยนแปลงแบบแพร่กระจายในอนาคตสามารถประมวลผลแบบเรียลไทม์ได้
คุณสมบัติที่สำคัญ:
การถ่ายทอดความสนใจของ PAB ช่วยเพิ่มความเร็วของการสร้างวิดีโอได้อย่างมาก โดยการลดการคำนวณความสนใจที่ซ้ำซ้อน และบรรลุการสร้างแบบเรียลไทม์
ขึ้นอยู่กับความเสถียรและความแตกต่างของความสนใจ PAB จะกำหนดช่วงการออกอากาศที่แตกต่างกันสำหรับความสนใจประเภทต่างๆ ดังนั้นจึงลดการสูญเสียคุณภาพให้เหลือน้อยที่สุดในขณะเดียวกันก็รับประกันประสิทธิภาพในการคำนวณ
ด้วยการปรับปรุงเทคโนโลยีการประมวลผลแบบขนานตามลำดับ PAB จะลดค่าใช้จ่ายในการสื่อสารระหว่าง GPU หลายตัวและปรับปรุงความเร็วและประสิทธิภาพของการสร้างวิดีโอให้ดียิ่งขึ้น
นักวิจัยพบว่ามีความแตกต่างที่ชัดเจนระหว่างขั้นตอนเวลาในกลไกความสนใจในรูปแบบการเปลี่ยนแปลงการแพร่กระจายของวิดีโอ จากการค้นพบนี้ PAB ถูกเสนอให้บรรเทาการคำนวณความสนใจที่ไม่จำเป็น ในส่วนตรงกลางที่เสถียร PAB จะถ่ายทอดเอาต์พุตความสนใจของขั้นตอนการแพร่หนึ่งไปยังขั้นตอนต่อๆ ไปหลายขั้นตอน ซึ่งจะช่วยลดต้นทุนการคำนวณได้อย่างมาก นอกจากนี้ เพื่อการคำนวณที่มีประสิทธิภาพมากขึ้นและลดการสูญเสียคุณภาพให้เหลือน้อยที่สุด ช่วงการออกอากาศที่แตกต่างกันจึงถูกกำหนดไว้สำหรับประเภทความสนใจที่แตกต่างกัน
เพื่อที่จะปรับปรุงความเร็วของการสร้างวิดีโอต่อไป นักวิจัยได้ปรับปรุงวิธีการประมวลผลแบบขนานโดยใช้ Dynamic Sequence Parallelism (DSP) ซึ่งขจัดค่าใช้จ่ายในการสื่อสารส่วนใหญ่โดยการถ่ายทอดความสนใจด้านเวลา ทำให้สามารถลดค่าใช้จ่ายในการสื่อสารได้มากกว่า 50% และ การสร้างวิดีโอแบบเรียลไทม์ที่ให้มา ให้ความสามารถในการอนุมานแบบกระจายที่มีประสิทธิภาพมากขึ้น
ไฮไลท์:
⭐ เทคโนโลยี PAB ช่วยให้สามารถสร้างวิดีโอแบบเรียลไทม์และเร่งความเร็วการประมวลผลได้ 10.6 เท่า
⭐ ด้วยการสังเกตความแตกต่างในกลไกความสนใจของโมเดลการแปลงการแพร่กระจายของวิดีโอ จึงเสนอ PAB เพื่อบรรเทาการคำนวณความสนใจที่ไม่จำเป็น
⭐ ด้วยการปรับปรุงวิธีการประมวลผลแบบขนาน ค่าใช้จ่ายในการสื่อสารจะลดลงอย่างมาก ทำให้มีความสามารถในการอนุมานแบบกระจายที่มีประสิทธิภาพมากขึ้นสำหรับการสร้างวิดีโอแบบเรียลไทม์
การเกิดขึ้นของเทคโนโลยี PAB ถือเป็นความก้าวหน้าครั้งสำคัญในเทคโนโลยีการสร้างวิดีโอแบบเรียลไทม์ โดยให้ความสามารถในการประมวลผลแบบเรียลไทม์ที่ทรงพลังสำหรับโมเดลการสร้างวิดีโอในอนาคตโดยอิงจากการแปลงแบบกระจาย และขยายโอกาสการประยุกต์ใช้ปัญญาประดิษฐ์ในสาขาวิดีโอต่อไป เชื่อกันว่าเทคโนโลยี PAB จะเข้ามามีบทบาทสำคัญมากขึ้นในด้านการสร้างวิดีโอในอนาคต