Generative AI Based Spatio Temporal Fusion

视频超分辨率的Genai驱动时空融合

基于Pytorch，在此处安装

通过高级时空融合技术来探索生成AI的最前沿，通过升级和框架交互，利用自动编码器，LSTM网络和最大熵原理来增强视频质量。

简介

该项目是一种使用生成AI技术在空间和时间上增强视频分辨率的新方法。通过利用自动编码器和LSTM网络，该项目旨在插入高阶段分辨率灰度图像，并通过从相应的RGB图像中学习，最终实现高保真视频超级分辨率，从而对它们进行着色。

在此处查看最新的稳定版本

在此处查看拟议方法论的视频演示

研究目标

该项目的主要目标是：

• 要学习在空间 - 固定密集的灰度图像框架之间的时间依赖性，以预测和插值新框架，从而增加时间分辨率。
• 通过包括灰度和相应的RGB图像框架的空间密集依赖性来学习空间依赖性，以生成灰度框架的有色版本，从而增强空间分辨率。

这是数据转换的视觉表示：

• 在培训期间：
  • 输入： [Grey-1] [Grey-2, RGB-2] [Grey-3] [Grey-4, RGB-4] ... [Grey-8, RGB-8] [Grey-9] [Grey-10, RGB-10]
  • 目标输出： [RGB-1] [RGB-2] [RGB-3] ... [RGB-8] [RGB-9] [RGB-10]
• 推理期间：
  • 输入： [Grey-1] [Grey-2] [Grey-3] [Grey-4] ... [Grey-8] [Grey-9] [Grey-10]
  • 预期输出： [RGB-1] [RGB-1.5] [RGB-2] [RGB-2.5] ... [RGB-8.5] [RGB-9] [RGB-9.5] [RGB-10]

资源链接

• 代码说明
• 问题跟踪器

欢迎捐款！

您对为该项目做出贡献的兴趣是高度尊重的。为了实现卓越的协作，您的见解，代码改进和创新想法得到了高度赞赏。确保检查贡献指南，以获取有关如何成为该项目不可或缺的一部分的更多信息。

致谢

衷心感谢所有贡献者和支持者，这些贡献者和支持者都在这段旅程中打破视频超分辨率技术的新基础。