Generative AI Based Spatio Temporal Fusion

視頻超分辨率的Genai驅動時空融合

基於Pytorch，在此處安裝

通過高級時空融合技術來探索生成AI的最前沿，通過升級和框架交互，利用自動編碼器，LSTM網絡和最大熵原理來增強視頻質量。

介紹

該項目是一種使用生成AI技術在空間和時間上增強視頻分辨率的新方法。通過利用自動編碼器和LSTM網絡，該項目旨在插入高階段分辨率灰度圖像，並通過從相應的RGB圖像中學習，最終實現高保真視頻超級分辨率，從而對它們進行著色。

在此處查看最新的穩定版本

在此處查看擬議方法論的視頻演示

研究目標

該項目的主要目標是：

• 要學習在空間 - 固定密集的灰度圖像框架之間的時間依賴性，以預測和插值新框架，從而增加時間分辨率。
• 通過包括灰度和相應的RGB圖像框架的空間密集依賴性來學習空間依賴性，以生成灰度框架的有色版本，從而增強空間分辨率。

這是數據轉換的視覺表示：

• 在培訓期間：
  • 輸入： [Grey-1] [Grey-2, RGB-2] [Grey-3] [Grey-4, RGB-4] ... [Grey-8, RGB-8] [Grey-9] [Grey-10, RGB-10]
  • 目標輸出： [RGB-1] [RGB-2] [RGB-3] ... [RGB-8] [RGB-9] [RGB-10]
• 推理期間：
  • 輸入： [Grey-1] [Grey-2] [Grey-3] [Grey-4] ... [Grey-8] [Grey-9] [Grey-10]
  • 預期輸出： [RGB-1] [RGB-1.5] [RGB-2] [RGB-2.5] ... [RGB-8.5] [RGB-9] [RGB-9.5] [RGB-10]

資源鏈接

• 代碼說明
• 問題跟踪器

歡迎捐款！

您對為該項目做出貢獻的興趣是高度尊重的。為了實現卓越的協作，您的見解，代碼改進和創新想法得到了高度讚賞。確保檢查貢獻指南，以獲取有關如何成為該項目不可或缺的一部分的更多信息。

致謝

衷心感謝所有貢獻者和支持者，這些貢獻者和支持者都在這段旅程中打破視頻超分辨率技術的新基礎。