Generative AI Based Spatio Temporal Fusion

Fusão espaço-temporal movida a Genai para super-resolução de vídeo

Baseado em Pytorch, instale aqui

Explorando a vanguarda da IA ​​generativa para aprimorar a qualidade do vídeo por meio de técnicas avançadas de fusão espaço-temporal através da escala de aumento e interpolação de quadros, alavancando os codificadores, redes LSTM e o princípio máximo de entropia.

Introdução

Este projeto é uma abordagem nova para aprimorar a resolução de vídeo espacial e temporalmente usando técnicas generativas de IA. Ao aproveitar os codificadores e as redes LSTM, o projeto visa interpolar imagens em escala de cinza de alta resolução de alta resolução e colorizá-las aprendendo com um conjunto correspondente de imagens RGB, alcançando finalmente a super-resolução de vídeo de alta fidelidade.

Confira o último lançamento estável aqui

Confira a demonstração em vídeo da metodologia proposta aqui

Objetivo da pesquisa

Os principais objetivos do projeto são:

• Para aprender dependências temporais entre os quadros de imagem em escala de escala de escala de escala espacialmente densa espacialmente para prever e interpolar novos quadros, portanto, aumentando a resolução temporal.
• Para aprender dependências espaciais através de sequências espacialmente densas-densas-densas que incluem a escala de escala e os quadros de imagem RGB correspondentes para gerar versões coloridas de quadros de escala de verde, aumentando assim a resolução espacial.

Aqui está uma representação visual da transformação de dados:

• Durante o treinamento:
  • Entrada : [Grey-1] [Grey-2, RGB-2] [Grey-3] [Grey-4, RGB-4] ... [Grey-8, RGB-8] [Grey-9] [Grey-10, RGB-10]
  • Saída direcionada : [RGB-1] [RGB-2] [RGB-3] ... [RGB-8] [RGB-9] [RGB-10]
• Durante a inferência:
  • Entrada : [Grey-1] [Grey-2] [Grey-3] [Grey-4] ... [Grey-8] [Grey-9] [Grey-10]
  • Saída esperada : [RGB-1] [RGB-1.5] [RGB-2] [RGB-2.5] ... [RGB-8.5] [RGB-9] [RGB-9.5] [RGB-10]

Links de recursos

• Explicação de código
• Rastreador de emissão

Contribuições Bem -vindo!

Seu interesse em contribuir para o projeto é altamente respeitado. Com o objetivo da excelência colaborativa, suas idéias, melhorias de código e idéias inovadoras são muito apreciadas. Verifique as diretrizes contribuintes para obter mais informações sobre como você pode se tornar parte integrante deste projeto.

Agradecimentos

Um sincero agradecimento a todos os colaboradores e apoiadores que estão nessa jornada para abrir novos caminhos na tecnologia de super-resolução de vídeo.