NAFNet下載NAFNet源代碼下載

NAFNet

Python

1.0.0

下載

NAFNET：非線性激活網絡用於圖像修復

紙質簡單基線的官方Pytorch實施圖像修復（ECCV2022）

Liangyu Chen，Xiaojie Chu，Xiangyu Zhang，Jian Sun

儘管最近在圖像恢復領域取得了重大進展，但最新方法（SOTA）方法的系統複雜性也在增加，這可能會阻礙方法的方便分析和比較。在本文中，我們提出了一個超過SOTA方法並且在計算上有效的簡單基線。為了進一步簡化基線，我們揭示了非線性激活函數，例如sigmoid，relu，gelu，softmax等。不需要：可以用乘法替換或去除它們。因此，我們從基線得出一個非線性無線激活網絡，即NAFNET。在各種具有挑戰性的基準測試中取得了SOTA結果，例如GoPro上的33.69 dB PSNR（用於圖像脫張），超過了先前的SOTA 0.38 dB，其計算成本僅為8.4％； SIDD上的40.30 dB PSNR（用於圖像denoising），超過了先前的SOTA 0.28 dB，其計算成本不到一半。


Denoise	DeBlur	Stereosr（NAFSSR）

psnr_vs_macs

消息

2022.08.02現在可以使用基線，包括驗證的型號和火車/測試配置。

2022.07.03相關工作，通過重新訪問全球信息聚合（TLC，又名TLSC）的改進圖像恢復，而ECCV2022接受？。代碼可在https://github.com/megvii-research/tlc上找到。

2022.07.03我們的論文被ECCV2022接受嗎？

2022.06.19 NAFSSR（作為挑戰贏家）被選為CVPR 2022，NTIRE Workshop的口頭演示？演示視頻，幻燈片和海報現已上市。

2022.04.15基於NAFNET的立體圖像超分辨率解決方案（NAFSSR）贏得了NTIRE 2022立體聲圖像超分辨率挑戰的第一名！培訓/評估說明請參見此處。

安裝

此基於基礎的實現，它是圖像/視頻修復任務和HINET的開源工具箱

 python 3.9 .5
pytorch 1.11 .0
cuda 11.3

 git clone https://github.com/megvii-research/NAFNet
cd NAFNet
pip install -r requirements.txt
python setup.py develop --no_cuda_ext

快速開始

圖片Denoise Colab演示：
圖片Deblur Colab演示：
立體聲圖像超分辨率COLAB演示：

單圖推理演示：

圖像Denoise：

 python basicsr/demo.py -opt options/test/SIDD/NAFNet-width64.yml --input_path ./demo/noisy.png --output_path ./demo/denoise_img.png

圖像DeBlur：

 python basicsr/demo.py -opt options/test/REDS/NAFNet-width64.yml --input_path ./demo/blurry.jpg --output_path ./demo/deblur_img.png

--input_path ：降級圖像的路徑
--output_path ：保存預測圖像的路徑
應下載預驗證的型號。
集成到擁抱面空間？使用Gradio。試用網絡演示以進行單圖像修復

立體聲圖像推理演示：
- 立體聲圖像超分辨率：
```
 python basicsr/demo_ssr.py -opt options/test/NAFSSR/NAFSSR-L_4x.yml 
--input_l_path ./demo/lr_img_l.png --input_r_path ./demo/lr_img_r.png 
--output_l_path ./demo/sr_img_l.png --output_r_path ./demo/sr_img_r.png
```
- --input_l_path ：降級左圖的路徑
- --input_r_path ：降級正確的圖像的路徑
- --output_l_path ：保存預測的左圖的路徑
- --output_r_path ：保存預測正確的圖像的路徑
- 應下載預驗證的型號。
- 集成到擁抱面空間？使用Gradio。試用網絡演示以獲取立體聲圖像超分辨率
在此處嘗試使用所有三個任務的Web演示：

結果和預訓練的模型

姓名	數據集	psnr	SSIM	預驗證的模型	配置
NAFNET-GOPRO WIDTH32	Gopro	32.8705	0.9606	gdrive \| 百度網盤	火車\|測試
NAFNET-GOPRO WIDTH64	Gopro	33.7103	0.9668	gdrive \| 百度網盤	火車\|測試
NAFNET-SIDD-WIDTH32	sidd	39.9672	0.9599	gdrive \| 百度網盤	火車\|測試
NAFNET-SIDD-WIDTH64	sidd	40.3045	0.9614	gdrive \| 百度網盤	火車\|測試
Nafnet-Reds Width64	紅色	29.0903	0.8671	gdrive \| 百度網盤	火車\|測試
NAFSSR-L_4X	Flickr1024	24.17	0.7589	gdrive \| 百度網盤	火車\|測試
NAFSSR-L_2X	Flickr1024	29.68	0.9221	gdrive \| 百度網盤	火車\|測試
基線 - 基因及以下32	Gopro	32.4799	0.9575	gdrive \| 百度網盤	火車\|測試
基線 - 基因及以下64	Gopro	33.3960	0.9649	gdrive \| 百度網盤	火車\|測試
基線 - 網絡寬32	sidd	39.8857	0.9596	gdrive \| 百度網盤	火車\|測試
基線 - 嵌入式64	sidd	40.2970	0.9617	gdrive \| 百度網盤	火車\|測試

圖像恢復任務

任務	數據集	火車/測試說明	可視化結果
圖像脫毛	Gopro	關聯	gdrive \| 百度網盤
圖像denoising	sidd	關聯	gdrive \| 百度網盤
與jpeg偽像的圖像去皮	紅色	關聯	gdrive \| 百度網盤
立體圖像超分辨率	Flickr1024+Middlebury	關聯	gdrive \| 百度網盤

引用

如果NAFNET有助於您的研究或工作，請考慮引用NAFNET。

 @article{chen2022simple,
  title={Simple Baselines for Image Restoration},
  author={Chen, Liangyu and Chu, Xiaojie and Zhang, Xiangyu and Sun, Jian},
  journal={arXiv preprint arXiv:2204.04676},
  year={2022}
}

如果NAFSSR幫助您的研究或工作，請考慮引用NAFSSR。

 @InProceedings{chu2022nafssr,
    author    = {Chu, Xiaojie and Chen, Liangyu and Yu, Wenqing},
    title     = {NAFSSR: Stereo Image Super-Resolution Using NAFNet},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
    month     = {June},
    year      = {2022},
    pages     = {1239-1248}
}