Ces dernières années, le développement rapide de la technologie de réillumination de l'image a bénéficié de l'accumulation d'ensembles de données à grande échelle et de la large application de modèles de diffusion pré-formés, ce qui rend un éclairage cohérent de plus en plus courant dans le traitement d'image. Cependant, dans le domaine de la réillumination vidéo, les progrès technologiques sont relativement à la traîne en raison des coûts de formation élevés et du manque d'ensembles de données de réillumination vidéo diversifiés et de haute qualité.
Le simple fait d'appliquer le modèle d'image de rééclairage au traitement vidéo Cadre by Frame conduit souvent à une série de problèmes, tels que l'incohérence de la source de lumière et les fluctuations de l'apparition de la réchauffement, qui déclenche finalement le scintillement dans la vidéo, affectant sérieusement l'expérience de vision.
Pour relever ces défis, l'équipe de recherche a proposé Light-A-Video, une méthode innovante qui peut réaliser une réillumination vidéo lisse de temps sans formation. Light-a-Video s'appuie non seulement sur les avantages du modèle de rééclairage d'image, mais introduit également deux modules clés pour améliorer considérablement la cohérence de l'éclairage dans la vidéo.
Premièrement, les chercheurs ont développé le module d'attention de lumière cohérent (CLA). Ce module stabilise efficacement la génération de sources de lumière de fond en améliorant l'interaction croisée au sein de la couche d'auto-agencement, évitant ainsi le saut et l'incohérence des sources lumineuses dans la vidéo.
Deuxièmement, sur la base du principe physique de l'indépendance de la transmission optique, l'équipe de recherche a adopté une stratégie de fusion linéaire pour mélanger l'apparition de la vidéo source avec l'apparition d'un éclairage lourd. Grâce à la stratégie progressive de fusion de lumière (PLF), la transition en douceur de la lumière dans le temps est assurée, améliorant encore la cohérence visuelle de la vidéo.
Dans l'expérience, Light-A-Video a démontré d'excellentes performances, améliorant considérablement la cohérence du temps des vidéos de lumière lourde tout en maintenant une sortie d'image de haute qualité. Son framework de traitement effectue d'abord le traitement du bruit sur la vidéo source, puis le dénuisant progressivement via le modèle VDM. Dans chaque étape, le composant prédit sans bruit sert de cible cohérente, tandis que le module d'attention de lumière cohérent injecte des informations d'éclairage uniques pour les convertir en une cible légère lourde. Enfin, la stratégie progressive de fusion de lumière combine les deux objectifs pour former un objectif de fusion, offrant une direction plus raffinée pour les étapes actuelles.
Le succès de Light-A-Video démontre non seulement l'énorme potentiel de la technologie de rééclairage vidéo, mais fournit également de nouvelles idées et orientations pour les recherches futures. L'application de cette technologie devrait apporter des changements révolutionnaires dans les domaines de la production cinématographique et télévisée, de la réalité virtuelle, etc.
Points clés:
Light-A-Video est une technique sans formation conçue pour atteindre la cohérence du temps dans la réévolution vidéo.
Le module d'attention de lumière cohérent et la stratégie de fusion de lumière progressive sont adoptés pour résoudre le problème de l'inhomogénéité de la source de lumière dans le re-éclairage vidéo.
Les expériences montrent que la lumière-video améliore considérablement la cohérence du temps et la qualité d'image des vidéos de lumière lourde.