Nos últimos anos, o rápido desenvolvimento da tecnologia de reiluminação de imagens se beneficiou do acúmulo de conjuntos de dados em larga escala e da ampla aplicação de modelos de difusão pré-treinados, o que torna a iluminação consistente se tornando cada vez mais comum no processamento de imagens. No entanto, no campo da re-iluminação por vídeo, o progresso tecnológico é relativamente atrasado devido aos altos custos de treinamento e à falta de conjuntos de dados de reiluminação de vídeo diversificados e de alta qualidade.
Simplesmente aplicar o modelo de re-iluminação da imagem ao quadro de processamento de vídeo por quadro geralmente leva a uma série de problemas, como a inconsistência da fonte de luz e as flutuações na aparência da re-iluminação, que acaba desencadeando o tremor no vídeo, afetando seriamente a experiência de visualização.
Para enfrentar esses desafios, a equipe de pesquisa propôs o Light-A-Video, um método inovador que pode alcançar a reiluminação de vídeos suaves sem treinamento. O Light-A-Video não apenas se baseia nas vantagens do modelo de re-iluminação da imagem, mas também apresenta dois módulos principais para melhorar significativamente a consistência da iluminação no vídeo.
Primeiro, os pesquisadores desenvolveram o módulo consistente de atenção leve (CLA). Este módulo estabiliza efetivamente a geração de fontes de luz de fundo, aprimorando a interação cruzada na camada de auto-atimento, evitando assim o salto e a inconsistência das fontes de luz no vídeo.
Em segundo lugar, com base no princípio físico da independência da transmissão óptica, a equipe de pesquisa adotou uma estratégia de fusão linear para misturar a aparência do vídeo de origem com a aparência de iluminação pesada. Através da estratégia progressiva da fusão da luz (PLF), a transição suave da luz no tempo é garantida, melhorando ainda mais a coerência visual do vídeo.
No experimento, o Light-A-Video demonstrou excelente desempenho, melhorando significativamente a consistência de tempo dos vídeos de luz pesada, mantendo a saída de imagem de alta qualidade. Sua estrutura de processamento primeiro executa o processamento de ruído no vídeo de origem e, em seguida, denoinando -o gradualmente através do modelo VDM. Em cada etapa, o componente sem ruído previsto serve como um alvo consistente, enquanto o módulo de atenção de luz consistente injeta informações de iluminação exclusivas para convertê-lo em um alvo de luz pesada. Finalmente, a estratégia progressiva de fusão da luz combina os dois objetivos para formar uma meta de fusão, fornecendo uma direção mais refinada para as etapas atuais.
O sucesso do Light-A-Video não apenas demonstra o enorme potencial da tecnologia de renúncia de vídeo, mas também fornece novas idéias e instruções para futuras pesquisas relacionadas. Espera -se que a aplicação dessa tecnologia traga mudanças revolucionárias nos campos da produção de filmes e televisão, realidade virtual etc.
Pontos -chave:
O Light-A-Video é uma técnica sem treinamento projetada para alcançar a consistência do tempo na renúncia de vídeo.
O módulo de atenção da luz consistente e a estratégia de fusão de luz progressiva são adotados para resolver o problema da inomogeneidade da fonte de luz na renúncia de vídeo.
Experimentos mostram que o Light-A-Video melhora significativamente a consistência do tempo e a qualidade da imagem dos vídeos de luz pesada.