MPRNetダウンロードMPRNetソースコードのダウンロード

MPRNet

パイソン

1.0.0

ダウンロード

マルチステージプログレッシブ画像修復（CVPR 2021）

Syed Waqas Zamir、Aditya Arora、Salman Khan、Munawar Hayat、Fahad Shahbaz Khan、Ming-Hsuan Yang、およびLing Shao

ニュース

私たちの作品がNTIRE 2021の課題で優勝したソリューションに影響を与えたことを嬉しく思います。

デュアルピクセルのデフォーカスデブラリングチャレンジ - MRNET：デュアルピクセル画像のマルチリファインメントネットワークフォーカスデブリング
画像脱bluringチャレンジ - Hinet：ハーフインスタンス画像修復のための正規化ネットワーク

要約：画像の復元タスクでは、画像を回復しながら、空間的な詳細と高レベルのコンテキスト化された情報との複雑なバランスが必要です。この論文では、これらの競合する目標のバランスをとることができる斬新な相乗設計を提案します。私たちの主な提案は、マルチステージアーキテクチャであり、劣化した入力の修復関数を徐々に学習し、それにより、全体的な回復プロセスをより管理しやすいステップに分解します。具体的には、モデルは最初にエンコーダーデコーダーアーキテクチャを使用してコンテキスト化された機能を学習し、後でそれらをローカル情報を保持する高解像度ブランチと組み合わせます。各段階で、地元の機能を再び測定するために、監視された監視の注意を払うピクセルごとの新しい適応設計を導入します。このようなマルチステージアーキテクチャの重要な成分は、異なる段階間の情報交換です。この目的のために、情報が初期段階から後期に連続的に交換されるだけでなく、情報の処理ブロック間の横方向の接続も存在する2つのフェセットのアプローチを提案します。 MPRNETと名付けられた、結果として生じる緊密に連携したマルチステージアーキテクチャは、画像の派生、脱生、除去など、さまざまなタスクにわたって10のデータセットで強力なパフォーマンスの向上を提供します。たとえば、Rain100L、GoPro、およびDNDデータセットでは、最先端と比較して、それぞれ4 dB、0.81 dB、および0.21 dBのPSNRゲインが得られます。

ネットワークアーキテクチャ


MPRNETの全体的なフレームワーク	監視された注意モジュール（SAM）

インストール

このモデルはPytorch 1.1.0に構築され、Ubuntu 16.04環境（Python3.7、Cuda9.0、Cudnn7.5）でテストされています。

インストールするには、これらの紹介に従ってください

 conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm

ウォームアップスケジューラをインストールします

 cd pytorch-gradual-warmup-lr; python setup.py install; cd ..

クイックラン

自分の画像を除去、導出、除去する事前に訓練されたモデルをテストするには、実行してください

 python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here

以下は、デブラーを実行する例です。

 python demo.py --task Deblurring --input_dir ./samples/input/ --result_dir ./samples/output/

トレーニングと評価

それぞれのディレクトリで、脱生、導入、除去のためのトレーニングとテストコードが提供されます。

結果

画像デブレーリング、画像由来、画像除去など、さまざまな画像処理タスクに対して実験が実行されます。 MPRNETによって作成された画像は、Google Driveリンクからダウンロードできます：DeBluring、Derinaing、およびNoising。

画像debluring （クリックして展開）


合成データセットでの脱生。	実際のデータセットでデブラー。

画像由来（クリックして展開）

画像除去（クリックして展開）

引用

MPRNETを使用する場合は、引用を検討してください。

 @inproceedings{Zamir2021MPRNet,
    title={Multi-Stage Progressive Image Restoration},
    author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
            and Fahad Shahbaz Khan and Ming-Hsuan Yang and Ling Shao},
    booktitle={CVPR},
    year={2021}
}