En los últimos años, el rápido desarrollo de la tecnología de reiluminación de imágenes se ha beneficiado de la acumulación de conjuntos de datos a gran escala y la amplia aplicación de modelos de difusión previamente capacitados, lo que hace que la iluminación constante se vuelva cada vez más común en el procesamiento de imágenes. Sin embargo, en el campo de la reiluminación de video, el progreso tecnológico es relativamente rezagado debido a los altos costos de capacitación y la falta de conjuntos de datos de reiluminación de video diversificados y de alta calidad.
Simplemente aplicar el modelo de re-iluminación de la imagen al marco de procesamiento de video por marco a menudo conduce a una serie de problemas, como la inconsistencia de la fuente de luz y las fluctuaciones en la apariencia de la re-iluminación, que finalmente desencadena parpadeo en el video, afectando seriamente la experiencia de visualización.
Para abordar estos desafíos, el equipo de investigación propuso luz-video, un método innovador que puede lograr una reiluminación de video suave sin capacitación. Light-A-Video no solo se basa en las ventajas del modelo de re-iluminación de la imagen, sino que también introduce dos módulos clave para mejorar significativamente la consistencia de la iluminación en el video.
Primero, los investigadores desarrollaron el módulo de atención de luz consistente (CLA). Este módulo estabiliza efectivamente la generación de fuentes de luz de fondo al mejorar la interacción de marco cruzado dentro de la capa de autoatención, evitando así el salto y la inconsistencia de las fuentes de luz en el video.
En segundo lugar, según el principio físico de la independencia de la transmisión óptica, el equipo de investigación adoptó una estrategia de fusión lineal para mezclar la apariencia del video de origen con la apariencia de iluminación pesada. A través de la estrategia de fusión de luz progresiva (PLF), se garantiza la transición suave de la luz en el tiempo, mejorando aún más la coherencia visual del video.
En el experimento, Light-A-Video demostró un excelente rendimiento, mejorando significativamente la consistencia del tiempo de los videos de luz pesada al tiempo que mantiene la producción de imágenes de alta calidad. Su marco de procesamiento primero realiza el procesamiento de ruido en el video de origen, y luego la renovación gradualmente a través del modelo VDM. En cada paso, el componente predicho libre de ruido sirve como un objetivo consistente, mientras que el módulo de atención de luz consistente inyecta información de iluminación única para convertirlo en un objetivo de luz pesada. Finalmente, la estrategia de fusión de luz progresiva combina los dos objetivos para formar un objetivo de fusión, proporcionando una dirección más refinada para los pasos actuales.
El éxito de Light-A-Video no solo demuestra el enorme potencial de la tecnología de re-iluminación de video, sino que también proporciona nuevas ideas y direcciones para futuras investigaciones relacionadas. Se espera que la aplicación de esta tecnología traiga cambios revolucionarios en los campos de la producción de cine y televisión, realidad virtual, etc.
Puntos clave:
Light-A-Video es una técnica sin entrenamiento diseñada para lograr la consistencia del tiempo en la re-iluminación de video.
El módulo de atención de luz consistente y la estrategia de fusión de luz progresiva se adoptan para resolver el problema de la homogeneidad de la fuente de luz en la re-lighting de video.
Los experimentos muestran que la luz-video mejora significativamente la consistencia del tiempo y la calidad de imagen de los videos de luz pesada.