ในช่วงไม่กี่ปีที่ผ่านมาการพัฒนาอย่างรวดเร็วของเทคโนโลยีการแสดงภาพภาพรวมได้รับประโยชน์จากการสะสมของชุดข้อมูลขนาดใหญ่และการประยุกต์ใช้แบบจำลองการแพร่กระจายที่ผ่านการฝึกอบรมมาก่อนซึ่งทำให้แสงสว่างที่สอดคล้องกันกลายเป็นเรื่องธรรมดามากขึ้นในการประมวลผลภาพ อย่างไรก็ตามในด้านการแสดงวิดีโอความก้าวหน้าทางเทคโนโลยีค่อนข้างล้าหลังเนื่องจากค่าใช้จ่ายในการฝึกอบรมที่สูงและการขาดชุดข้อมูลวิดีโอที่มีคุณภาพสูงและมีคุณภาพสูง
เพียงแค่ใช้รูปแบบแสงไฟใหม่กับเฟรมการประมวลผลวิดีโอทีละเฟรมมักจะนำไปสู่ปัญหาชุดต่างๆเช่นความไม่สอดคล้องกันของแหล่งกำเนิดแสงและความผันผวนในการปรากฏตัวของแสงไฟอีกครั้ง ประสบการณ์การรับชม
เพื่อจัดการกับความท้าทายเหล่านี้ทีมวิจัยได้เสนอ Light-A-Video ซึ่งเป็นวิธีการที่เป็นนวัตกรรมที่สามารถบรรลุการแสดงวิดีโอที่มีความสุขกับเวลาโดยไม่ต้องฝึกอบรม Light-a-video ไม่เพียง แต่ดึงข้อดีของรูปแบบแสงใหม่ แต่ยังแนะนำโมดูลสำคัญสองโมดูลเพื่อเพิ่มความสอดคล้องของแสงในวิดีโออย่างมีนัยสำคัญ
ขั้นแรกนักวิจัยได้พัฒนาโมดูลแสงที่สอดคล้องกัน (CLA) โมดูลนี้มีความเสถียรในการสร้างแหล่งกำเนิดแสงพื้นหลังอย่างมีประสิทธิภาพโดยการเพิ่มปฏิสัมพันธ์ข้ามเฟรมภายในชั้นการกระทำด้วยตนเองจึงหลีกเลี่ยงการกระโดดและความไม่สอดคล้องกันของแหล่งกำเนิดแสงในวิดีโอ
ประการที่สองขึ้นอยู่กับหลักการทางกายภาพของความเป็นอิสระในการส่งแสงทีมวิจัยได้ใช้กลยุทธ์การหลอมรวมเชิงเส้นเพื่อผสมผสานการปรากฏตัวของวิดีโอต้นฉบับกับการปรากฏตัวของแสงหนัก ผ่านกลยุทธ์ Progressive Light Fusion (PLF) การเปลี่ยนแปลงของแสงในเวลาที่ราบรื่นจะช่วยให้มั่นใจได้ว่าจะปรับปรุงการเชื่อมโยงภาพของวิดีโอต่อไป
ในการทดลอง Light-A-Video แสดงให้เห็นถึงประสิทธิภาพที่ยอดเยี่ยมการปรับปรุงความสอดคล้องของเวลาอย่างมีนัยสำคัญของวิดีโอที่มีแสงหนักในขณะที่ยังคงเอาต์พุตภาพคุณภาพสูง เฟรมเวิร์กการประมวลผลของมันทำการประมวลผลเสียงรบกวนในวิดีโอต้นฉบับเป็นครั้งแรกจากนั้นค่อยๆ denoising ผ่านโมเดล VDM ในแต่ละขั้นตอนส่วนประกอบที่ปราศจากเสียงรบกวนที่คาดการณ์ไว้ทำหน้าที่เป็นเป้าหมายที่สอดคล้องกันในขณะที่โมดูลความสนใจแสงที่สอดคล้องกันฉีดข้อมูลแสงที่ไม่ซ้ำกันเพื่อแปลงเป็นเป้าหมายแสงหนัก ในที่สุดกลยุทธ์การฟิวชั่นแสงแบบก้าวหน้าได้รวมสองเป้าหมายเพื่อสร้างเป้าหมายการหลอมรวมซึ่งให้ทิศทางที่ละเอียดยิ่งขึ้นสำหรับขั้นตอนปัจจุบัน
ความสำเร็จของ Light-a-video ไม่เพียง แต่แสดงให้เห็นถึงศักยภาพที่ยิ่งใหญ่ของเทคโนโลยีการส่องแสงใหม่ แต่ยังให้แนวคิดและทิศทางใหม่สำหรับการวิจัยที่เกี่ยวข้องในอนาคต การประยุกต์ใช้เทคโนโลยีนี้คาดว่าจะนำการเปลี่ยนแปลงการปฏิวัติในสาขาการผลิตภาพยนตร์และโทรทัศน์เสมือนจริง ฯลฯ
ประเด็นสำคัญ:
Light-A-Video เป็นเทคนิคที่ปราศจากการฝึกอบรมที่ออกแบบมาเพื่อให้ได้เวลาความสอดคล้องในการมองเห็นวิดีโอใหม่
โมดูลความสนใจแสงที่สอดคล้องกันและกลยุทธ์การหลอมรวมแสงแบบก้าวหน้าได้ถูกนำมาใช้เพื่อแก้ปัญหาของความไม่ลงรอยกันของแหล่งกำเนิดแสงในการส่องแสงวิดีโอใหม่
การทดลองแสดงให้เห็นว่า Light-a-video ช่วยปรับปรุงเวลาและคุณภาพของภาพของวิดีโอที่มีแสงหนักอย่างมีนัยสำคัญ