MPRNet下載 - MPRNet源代碼下載

MPRNet

Python

1.0.0

下載

多階段漸進式圖像恢復（CVPR 2021）

Syed Waqas Zamir，Aditya Arora，Salman Khan，Munawar Hayat，Fahad Shahbaz Khan，Ming-Hsuan Yang和Ling Shao

消息

我們很高興看到我們的工作激發了NTIRE 2021挑戰中的獲勝解決方案：

雙像素脫焦脫脂挑戰-MRNET：雙像素圖像的多精煉網絡Defocus Deblurring
圖像脫毛挑戰 - HINET：圖像恢復的一半實例標準化網絡

摘要：圖像恢復任務在恢復圖像時需要在空間細節和高級上下文化信息之間取得複雜的平衡。在本文中，我們提出了一種新穎的協同設計，可以最佳地平衡這些競爭目標。我們的主要建議是一個多階段的體系結構，它逐步學習了降級輸入的恢復功能，從而將整個恢復過程分解為更易於管理的步驟。具體而言，我們的模型首先使用Encoder-Decoder架構學習上下文化的功能，然後將它們與保留本地信息的高分辨率分支結合在一起。在每個階段，我們介紹了一種新穎的人均自適應設計，該設計利用原位監督的關注來重新持續當地功能。這種多階段體系結構中的關鍵要素是不同階段之間的信息交換。為此，我們提出了一種兩方面的方法，其中信息不僅從早期到晚階段依次交換，而且還存在特徵處理塊之間的橫向連接，以避免任何信息丟失。由此命名為MPRNET的緊密相互互聯的多階段架構在一系列任務上提供了十個數據集的強大性能提高，包括圖像deraining，deblurring和denoising。例如，在Rain100L，GoPro和DND數據集上，與最先進的ART相比，我們分別獲得4 dB，0.81 dB和0.21 dB的PSNR增益。

網絡架構


MPRNET的總體框架	監督注意模塊（SAM）

安裝

該模型構建在Pytorch 1.1.0中，並在Ubuntu 16.04環境（Python3.7，Cuda9.0，Cudnn7.5）上進行了測試。

要安裝，請遵循以下結構

 conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm

安裝熱身調度程序

 cd pytorch-gradual-warmup-lr; python setup.py install; cd ..

快速運行

測試deblurring，deraining，deNoing yours映像的預先訓練的模型，運行

 python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here

這是執行Deblurring的示例：

 python demo.py --task Deblurring --input_dir ./samples/input/ --result_dir ./samples/output/

培訓和評估

在其各自的目錄中提供了培訓和測試代碼，以進行去除，降低和降解。

結果

實驗是針對不同圖像處理任務進行的，包括圖像脫毛，圖像降低和圖像降解。 MPRNET生產的圖像可以從Google Drive鏈接下載：DeBlurring，deranning和DeNoising。

圖像DeBlurring （單擊以展開）


在合成數據集上脫毛。	在真實數據集上脫毛。

圖像deraining （單擊以展開）

圖像denoising （單擊以展開）

引用

如果您使用mprnet，請考慮引用：

 @inproceedings{Zamir2021MPRNet,
    title={Multi-Stage Progressive Image Restoration},
    author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
            and Fahad Shahbaz Khan and Ming-Hsuan Yang and Ling Shao},
    booktitle={CVPR},
    year={2021}
}