NAFNet下载NAFNet源代码下载

NAFNet

Python

1.0.0

下载

NAFNET：非线性激活网络用于图像修复

纸质简单基线的官方Pytorch实施图像修复（ECCV2022）

Liangyu Chen，Xiaojie Chu，Xiangyu Zhang，Jian Sun

尽管最近在图像恢复领域取得了重大进展，但最新方法（SOTA）方法的系统复杂性也在增加，这可能会阻碍方法的方便分析和比较。在本文中，我们提出了一个超过SOTA方法并且在计算上有效的简单基线。为了进一步简化基线，我们揭示了非线性激活函数，例如sigmoid，relu，gelu，softmax等。不需要：可以用乘法替换或去除它们。因此，我们从基线得出一个非线性无线激活网络，即NAFNET。在各种具有挑战性的基准测试中取得了SOTA结果，例如GoPro上的33.69 dB PSNR（用于图像脱张），超过了先前的SOTA 0.38 dB，其计算成本仅为8.4％； SIDD上的40.30 dB PSNR（用于图像denoising），超过了先前的SOTA 0.28 dB，其计算成本不到一半。


Denoise	DeBlur	Stereosr（NAFSSR）

psnr_vs_macs

消息

2022.08.02现在可以使用基线，包括验证的型号和火车/测试配置。

2022.07.03相关工作，通过重新访问全球信息聚合（TLC，又名TLSC）的改进图像恢复，而ECCV2022接受？。代码可在https://github.com/megvii-research/tlc上找到。

2022.07.03我们的论文被ECCV2022接受吗？

2022.06.19 NAFSSR（作为挑战赢家）被选为CVPR 2022，NTIRE Workshop的口头演示？演示视频，幻灯片和海报现已上市。

2022.04.15基于NAFNET的立体图像超分辨率解决方案（NAFSSR）赢得了NTIRE 2022立体声图像超分辨率挑战的第一名！培训/评估说明请参见此处。

安装

此基于基础的实现，它是图像/视频修复任务和HINET的开源工具箱

 python 3.9 .5
pytorch 1.11 .0
cuda 11.3

 git clone https://github.com/megvii-research/NAFNet
cd NAFNet
pip install -r requirements.txt
python setup.py develop --no_cuda_ext

快速开始

图片Denoise Colab演示：
图片Deblur Colab演示：
立体声图像超分辨率COLAB演示：

单图推理演示：

图像Denoise：

 python basicsr/demo.py -opt options/test/SIDD/NAFNet-width64.yml --input_path ./demo/noisy.png --output_path ./demo/denoise_img.png

图像DeBlur：

 python basicsr/demo.py -opt options/test/REDS/NAFNet-width64.yml --input_path ./demo/blurry.jpg --output_path ./demo/deblur_img.png

--input_path ：降级图像的路径
--output_path ：保存预测图像的路径
应下载预验证的型号。
集成到拥抱面空间？使用Gradio。试用网络演示以进行单图像修复

立体声图像推理演示：
- 立体声图像超分辨率：
```
 python basicsr/demo_ssr.py -opt options/test/NAFSSR/NAFSSR-L_4x.yml 
--input_l_path ./demo/lr_img_l.png --input_r_path ./demo/lr_img_r.png 
--output_l_path ./demo/sr_img_l.png --output_r_path ./demo/sr_img_r.png
```
- --input_l_path ：降级左图的路径
- --input_r_path ：降级正确的图像的路径
- --output_l_path ：保存预测的左图的路径
- --output_r_path ：保存预测正确的图像的路径
- 应下载预验证的型号。
- 集成到拥抱面空间？使用Gradio。试用网络演示以获取立体声图像超分辨率
在此处尝试使用所有三个任务的Web演示：

结果和预训练的模型

姓名	数据集	psnr	SSIM	预验证的模型	配置
NAFNET-GOPRO WIDTH32	Gopro	32.8705	0.9606	gdrive \| 百度网盘	火车\|测试
NAFNET-GOPRO WIDTH64	Gopro	33.7103	0.9668	gdrive \| 百度网盘	火车\|测试
NAFNET-SIDD-WIDTH32	sidd	39.9672	0.9599	gdrive \| 百度网盘	火车\|测试
NAFNET-SIDD-WIDTH64	sidd	40.3045	0.9614	gdrive \| 百度网盘	火车\|测试
Nafnet-Reds Width64	红色	29.0903	0.8671	gdrive \| 百度网盘	火车\|测试
NAFSSR-L_4X	Flickr1024	24.17	0.7589	gdrive \| 百度网盘	火车\|测试
NAFSSR-L_2X	Flickr1024	29.68	0.9221	gdrive \| 百度网盘	火车\|测试
基线 - 基因及以下32	Gopro	32.4799	0.9575	gdrive \| 百度网盘	火车\|测试
基线 - 基因及以下64	Gopro	33.3960	0.9649	gdrive \| 百度网盘	火车\|测试
基线 - 网络宽32	sidd	39.8857	0.9596	gdrive \| 百度网盘	火车\|测试
基线 - 嵌入式64	sidd	40.2970	0.9617	gdrive \| 百度网盘	火车\|测试

图像恢复任务

任务	数据集	火车/测试说明	可视化结果
图像脱毛	Gopro	关联	gdrive \| 百度网盘
图像denoising	sidd	关联	gdrive \| 百度网盘
与jpeg伪像的图像去皮	红色	关联	gdrive \| 百度网盘
立体图像超分辨率	Flickr1024+Middlebury	关联	gdrive \| 百度网盘

引用

如果NAFNET有助于您的研究或工作，请考虑引用NAFNET。

 @article{chen2022simple,
  title={Simple Baselines for Image Restoration},
  author={Chen, Liangyu and Chu, Xiaojie and Zhang, Xiangyu and Sun, Jian},
  journal={arXiv preprint arXiv:2204.04676},
  year={2022}
}

如果NAFSSR帮助您的研究或工作，请考虑引用NAFSSR。

 @InProceedings{chu2022nafssr,
    author    = {Chu, Xiaojie and Chen, Liangyu and Yu, Wenqing},
    title     = {NAFSSR: Stereo Image Super-Resolution Using NAFNet},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
    month     = {June},
    year      = {2022},
    pages     = {1239-1248}
}