MPRNet
1.0.0
Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang und Ling Shaoo
Wir freuen uns zu sehen, dass unsere Arbeit die Gewinnerlösungen in den Herausforderungen bei NTIRE 2021 inspiriert hat:
Abstract: Bildrestaurationsaufgaben erfordern ein komplexes Gleichgewicht zwischen räumlichen Details und kontextualisierten Informationen auf hoher Ebene bei der Wiederherstellung von Bildern. In diesem Artikel schlagen wir ein neuartiges synergistisches Design vor, das diese konkurrierenden Ziele optimal in Einklang bringen kann. Unser Hauptvorschlag ist eine mehrstufige Architektur, die die Wiederherstellungsfunktionen für die verschlechterten Eingaben schrittweise lernt und damit den Gesamtwiederherstellungsprozess in überschaubare Schritte unterteilt. Insbesondere lernt unser Modell zunächst die kontextualisierten Funktionen mithilfe von Encoder-Decoder-Architekturen und kombiniert sie später mit einem hochauflösenden Zweig, der lokale Informationen behält. In jeder Phase stellen wir ein neuartiges adaptives Design pro Pixel vor, das die Aufmerksamkeit der lokalen Merkmale in den SITU beaufsichtigt. Eine wichtige Zutat in einer so mehrstufigen Architektur ist der Informationsaustausch zwischen verschiedenen Stufen. Zu diesem Zweck schlagen wir einen zweitrünnigen Ansatz vor, bei dem die Informationen nicht nur nacheinander von frühen bis späten Stadien ausgetauscht werden, sondern auch seitliche Verbindungen zwischen Merkmalsverarbeitungsblöcken, um einen Informationsverlust zu vermeiden. Die resultierende, eng miteinander verbundene mehrstufige Architektur, die als MPRNET bezeichnet wird, liefert starke Leistungssteigerungen für zehn Datensätze in einer Reihe von Aufgaben, darunter Bildspeisung, Ablagerung und Denoising. Zum Beispiel erhalten wir auf den Rain100L-, GoPro- und DND-Datensätzen PSNR-Gewinne von 4 dB, 0,81 dB bzw. 0,21 dB im Vergleich zum hochmodernen Stand der Technik.
Gesamtrahmen von MPRNET | Aufmerksamkeitsmodul (SAM) |
Das Modell ist in Pytorch 1.1.0 eingebaut und auf Ubuntu 16.04 -Umgebung (Python3.7, CUDA9.0, CUDNN7.5) getestet.
Befolgen Sie diese Einstruktionen zur Installation
conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm
Installieren Sie den Erwärmungsplaner
cd pytorch-gradual-warmup-lr; python setup.py install; cd ..
Um die vorgeborenen Modelle des Entlags, der Entspannung zu testen, die auf Ihren eigenen Bildern zu beengen, rennen Sie
python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here
Hier ist ein Beispiel zur Durchführung von DeBlurring:
python demo.py --task Deblurring --input_dir ./samples/input/ --result_dir ./samples/output/
In ihren jeweiligen Verzeichnissen werden Trainings- und Testcodes für das Entlastung, die Entspannung und das Denoising bereitgestellt.
Die Experimente werden für verschiedene Bildverarbeitungsaufgaben durchgeführt, einschließlich Bildentwagring, Bildspitzung und Bild -Denoising. Bilder, die von MPRNET erstellt wurden, können von Google Drive -Links heruntergeladen werden: Deblurring, Launen und Denoising.
Auf synthetischen Datensätzen eintreiben. | Auf dem echten Datensatz abbauen. |
Wenn Sie MPRNET verwenden, sollten Sie sich angeben:
@inproceedings{Zamir2021MPRNet,
title={Multi-Stage Progressive Image Restoration},
author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
and Fahad Shahbaz Khan and Ming-Hsuan Yang and Ling Shao},
booktitle={CVPR},
year={2021}
}
Wenn Sie Fragen haben, wenden Sie sich bitte an [email protected]
