Generative AI Based Spatio Temporal Fusion

Genai-betriebene räumlich-zeitliche Fusion für die Video-Superauflösung

Basierend auf Pytorch installieren Sie hier

Erkundung der Vorderseite der generativen KI, um die Videoqualität durch fortschrittliche räumlich-zeitliche Fusionstechniken durch Hochskalierung und Rahmeninterpolation zu verbessern, Auto-Coder, LSTM-Netzwerke und maximales Entropieprinzip zu nutzen.

Einführung

Dieses Projekt ist ein neuer Ansatz zur Verbesserung der Videoauflösung sowohl räumlich als auch zeitlich mit generativen AI -Techniken. Durch die Nutzung von Auto-Codern und LSTM-Netzwerken zielt das Projekt darauf ab, Graustufenbilder mit hoher zeiträtiger Auflösung zu interpolieren und sie aus einem entsprechenden Satz von RGB-Bildern zu fördern, wodurch letztendlich die Super-Auflösung von High-Fidelity-Videos erreicht wird.

Checkout der neuesten stabilen Version hier

Checkout der Videodemonstration der vorgeschlagenen Methodik hier

Forschungsziel

Die Hauptziele des Projekts sind:

• Zeitliche Abhängigkeiten zwischen räumlich sparsam-zeitlich dichtem graukalischen Bildrahmen zu lernen, um neue Frames vorherzusagen und zu interpolieren, wodurch die zeitliche Auflösung zunimmt.
• Räumliche Abhängigkeiten durch räumlich dicht-zeitlich sparsame Sequenzen zu lernen, die sowohl grausicale als auch entsprechende RGB-Bildrahmen umfassen, um farbige Versionen von Graustufenrahmen zu erzeugen und so die räumliche Auflösung zu verbessern.

Hier ist eine visuelle Darstellung der Datenumwandlung:

• Während des Trainings:
  • Eingabe : [Grey-1] [Grey-2, RGB-2] [Grey-3] [Grey-4, RGB-4] ... [Grey-8, RGB-8] [Grey-9] [Grey-10, RGB-10]
  • Gezielte Ausgabe : [RGB-1] [RGB-2] [RGB-3] ... [RGB-8] [RGB-9] [RGB-10]
• Während der Inferenz:
  • Eingabe : [Grey-1] [Grey-2] [Grey-3] [Grey-4] ... [Grey-8] [Grey-9] [Grey-10]
  • Erwartete Ausgabe : [RGB-1] [RGB-1.5] [RGB-2] [RGB-2.5] ... [RGB-8.5] [RGB-9] [RGB-9.5] [RGB-10]

Ressourcenverbindungen

• Code Erläuterung
• Ausgabe Tracker

Beiträge willkommen!

Ihr Interesse am Projekt ist hoch angesehen. Das Streben auf kollaborative Exzellenz, Ihre Erkenntnisse, Codeverbesserungen und innovative Ideen werden sehr geschätzt. Überprüfen Sie sicher, ob Sie weiterhin Richtlinien finden, um weitere Informationen darüber zu erhalten, wie Sie ein integraler Bestandteil dieses Projekts werden können.

Anerkennung

Ein herzliches Dankeschön an alle Mitwirkenden und Unterstützer, die auf dieser Reise sind, um neue Wege in der Video-Super-Auflösungstechnologie zu brechen.