Restormer下载 - Restormer源代码下载

Restormer

Python

Pretrained Models

下载

还原器：高分辨率图像恢复的有效变压器（CVPR 2022-口服）

Syed Waqas Zamir，Aditya Arora，Salman Khan，Munawar Hayat，Fahad Shahbaz Khan和Ming-Hsuan Yang

消息

2022年4月4日：集成到拥抱面空间？使用Gradio。尝试网络演示：
2022年3月30日：添加了COLAB演示。
2022年3月29日：选择Restormer在CVPR 2022上选择口头介绍？
2022年3月10日：培训代码已发布
2022年3月3日：在CVPR 2022接受的论文？
2021年11月21日：发布测试代码和预培训模型！

摘要：由于卷积神经网络（CNN）在从大规模数据中学习可通用的图像先验方面表现良好，因此这些模型已广泛应用于图像恢复和相关任务。最近，另一类的神经体系结构，变形金刚显示出关于自然语言和高级视觉任务的显着性能。虽然变压器模型减轻了CNN的缺点（即，有限的接受场和输入含量的不适应能力），但其计算复杂性随空间分辨率而倍增，因此使其不可避免地适用于涉及高分辨率图像的大多数图像恢复任务。在这项工作中，我们通过在构建块（多头注意力和馈送前向网络）中制作多个关键设计来提出一个有效的变压器模型，以便它可以捕获远程像素交互，同时仍然适用于大图像。我们的模型称为Restoration Transformer（Restormer），在几个图像恢复任务上获得了最先进的结果，包括图像恢复任务，单位图，单位运动去除，Defocus DeBlurring（单形像和双像素数据）以及图像DeNoising（Gaussian Grayscale/color color colarescale/color colorscale/color deNoising和真实的图像DeNoising）。

网络架构

安装

有关运行Restormer所需的依赖项的安装，请参见install.md。

演示

要测试预先训练的修复机模型，以驱动，运动去缩短，脱焦造成脱毛和降解，您可以使用Google Colab或命令行作为以下

 python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here

在图像目录上执行defocus deblurring的示例用法：

 python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/' --result_dir './demo/restored/'

示例用法直接在图像上执行Defocus Deblurring：

 python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/portrait.jpg' --result_dir './demo/restored/'

培训和评估

在其各自的目录中提供了用于降低，运动去膨胀，脱焦性脱毛和脱氧的训练和测试指令。这是一个包含超链接的摘要表，可轻松导航：

任务	培训说明	测试说明	Restormer的视觉结果
德国	关联	关联	下载
运动脱张	关联	关联	下载
Defocus Deblurring	关联	关联	下载
高斯denoising	关联	关联	下载
真正的DeNoing	关联	关联	下载

结果

对不同的图像处理任务进行了实验，包括图像传播，单图像运动去膨胀，DeFocus Deblurring（在单个图像和双像素数据上）以及图像DeNoising（在高斯和真实数据上）。

图像deraining （单击以展开）

单片图像动态（单击以展开）

DeFocus DeBlurring （单击以展开）

S：单形图像散焦。 D：双像素defocus deblurring。

高斯图像denoising （单击以展开）

顶级超级排：学习一个模型来处理各种噪声水平。底部超级行：训练每个噪声水平的单独模型。


灰度	颜色

真实的图像denoising （单击以展开）

引用

如果您使用Restormer，请考虑引用：

 @inproceedings{Zamir2021Restormer,
    title={Restormer: Efficient Transformer for High-Resolution Image Restoration}, 
    author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat 
            and Fahad Shahbaz Khan and Ming-Hsuan Yang},
    booktitle={CVPR},
    year={2022}
}