Generative AI Based Spatio Temporal Fusion

Fusion spatio-temporelle propulsée à Genai pour super-résolution vidéo

Basé sur Pytorch, installez ici

Exploration de la pointe de l'IA générative pour améliorer la qualité de la vidéo grâce à des techniques de fusion spatio-temporelles avancées par augmentation et interpolation de la trame, tirant des codes auto-codeurs, réseaux LSTM et principe d'entropie maximale.

Introduction

Ce projet est une nouvelle approche pour améliorer la résolution vidéo à la fois spatialement et temporellement en utilisant des techniques d'IA génératives. En tirant parti des encodeurs automobiles et des réseaux LSTM, le projet vise à interpoler des images de gris à résolution haute temporelle et à les colorer en apprenant à partir d'un ensemble d'images RVB correspondant, en finissant par réaliser une super-résolution vidéo haute fidélité.

Découvrez la dernière version stable ici

Découvrez la démonstration vidéo de la méthodologie proposée ici

Objectif de recherche

Les principaux objectifs du projet sont:

• Pour apprendre les dépendances temporelles parmi les cadres d'image de greys dense spatialement éprouvés pour prédire et interpoler de nouvelles cadres, donc augmentant la résolution temporelle.
• Pour apprendre les dépendances spatiales à travers des séquences spatialement tendues-temporelles qui incluent à la fois des cadres d'image RVB à l'échelle verte et correspondants pour générer des versions colorisées des cadres de greyscale, améliorant ainsi la résolution spatiale.

Voici une représentation visuelle de la transformation des données:

• Pendant la formation:
  • Entrée : [Grey-1] [Grey-2, RGB-2] [Grey-3] [Grey-4, RGB-4] ... [Grey-8, RGB-8] [Grey-9] [Grey-10, RGB-10]
  • Sortie ciblée : [RGB-1] [RGB-2] [RGB-3] ... [RGB-8] [RGB-9] [RGB-10]
• Pendant l'inférence:
  • Entrée : [Grey-1] [Grey-2] [Grey-3] [Grey-4] ... [Grey-8] [Grey-9] [Grey-10]
  • Sortie attendue : [RGB-1] [RGB-1.5] [RGB-2] [RGB-2.5] ... [RGB-8.5] [RGB-9] [RGB-9.5] [RGB-10]

Liens de ressources

• Explication du code
• Émission de tracker

Les contributions sont la bienvenue!

Votre intérêt à contribuer au projet est très respecté. Visant une excellence collaborative, vos idées, vos améliorations de code et vos idées innovantes sont très appréciées. Assurez-vous de vérifier les directives contributives pour plus d'informations sur la façon dont vous pouvez faire partie intégrante de ce projet.

Remerciements

Un remerciement sincère à tous les contributeurs et supporters qui sont dans ce voyage pour innover dans la technologie de super-résolution vidéo.