Generative AI Based Spatio Temporal Fusion

Fusión espacio-temporal con alimentación de Genai para videos súper resolución

Basado en Pytorch, instale aquí

Explorando la vanguardia de la IA generativa para mejorar la calidad del video a través de técnicas avanzadas de fusión espacio-temporal mediante la escala y la interpolación de cuadros, aprovechando los ingresos automáticos, las redes LSTM y el principio de entropía máxima.

Introducción

Este proyecto es un enfoque novedoso para mejorar la resolución de video tanto espacial como temporalmente utilizando técnicas de IA generativas. Al aprovechar las redes automáticas y las redes LSTM, el proyecto tiene como objetivo interpolar imágenes de escala de grises de alta resolución de alta temporal y colorearlas aprendiendo de un conjunto correspondiente de imágenes RGB, logrando en última instancia una super-resolución de videos de alta fidelidad.

Consulte el último lanzamiento estable aquí

Consulte la demostración de video de la metodología propuesta aquí

Objetivo de investigación

Los objetivos principales del proyecto son:

• Aprender dependencias temporales entre los marcos de imagen grisescala de denso espacialmente-spario-sporse para predecir e interpolar nuevos marcos, por lo tanto, aumentando la resolución temporal.
• Aprender dependencias espaciales a través de secuencias espacial-densas-temporales que incluyen los marcos de imágenes de rgb de grisescala y correspondientes para generar versiones colorizadas de cuadros de granos, por lo tanto, mejorar la resolución espacial.

Aquí hay una representación visual de la transformación de datos:

• Durante el entrenamiento:
  • Entrada : [Grey-1] [Grey-2, RGB-2] [Grey-3] [Grey-4, RGB-4] ... [Grey-8, RGB-8] [Grey-9] [Grey-10, RGB-10]
  • Salida dirigida : [RGB-1] [RGB-2] [RGB-3] ... [RGB-8] [RGB-9] [RGB-10]
• Durante la inferencia:
  • Entrada : [Grey-1] [Grey-2] [Grey-3] [Grey-4] ... [Grey-8] [Grey-9] [Grey-10]
  • Salida esperada : [RGB-1] [RGB-1.5] [RGB-2] [RGB-2.5] ... [RGB-8.5] [RGB-9] [RGB-9.5] [RGB-10]

Enlaces de recursos

• Explicación del código
• Rastreador de emisión

¡Contribuciones bienvenidas!

Su interés en contribuir al proyecto es muy respetado. Se agradece mucho el objetivo de la excelencia colaborativa, sus ideas, mejoras en el código e ideas innovadoras. Asegúrese de verificar las pautas contribuyentes para obtener más información sobre cómo puede convertirse en una parte integral de este proyecto.

Expresiones de gratitud

Un sincero agradecimiento a todos los contribuyentes y seguidores que están en este viaje para abrir nuevos campos en la tecnología de súper resolución de video.