MPRNet

Restorasi gambar progresif multi-tahap (CVPR 2021)

Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang, dan Ling Shao

---

Berita

Kami senang melihat bahwa pekerjaan kami telah menginspirasi solusi kemenangan di NTIRE 2021 Tantangan :

• Dual-pixel Defocus Deblurring Challenge-MRNET: Jaringan penyempurnaan multi untuk gambar dual-pixel Defocus deblurring
• Image Deblurring Challenge - Hinet: Jaringan normalisasi setengah instance untuk pemulihan gambar

---

Abstrak: Tugas restorasi gambar menuntut keseimbangan yang kompleks antara detail spasial dan informasi kontekstual tingkat tinggi sambil memulihkan gambar. Dalam makalah ini, kami mengusulkan desain sinergis baru yang secara optimal dapat menyeimbangkan tujuan yang bersaing ini. Proposal utama kami adalah arsitektur multi-tahap, yang secara progresif mempelajari fungsi restorasi untuk input yang terdegradasi, sehingga memecah proses pemulihan keseluruhan menjadi langkah yang lebih mudah dikelola. Secara khusus, model kami pertama-tama mempelajari fitur kontekstual menggunakan arsitektur enkoder-dekoder dan kemudian menggabungkannya dengan cabang resolusi tinggi yang mempertahankan informasi lokal. Pada setiap tahap, kami memperkenalkan desain adaptif per-piksel novel yang memanfaatkan perhatian yang diawasi secara in-situ untuk membobot kembali fitur-fitur lokal. Bahan utama dalam arsitektur multi-tahap seperti itu adalah pertukaran informasi antara berbagai tahap. Untuk tujuan ini, kami mengusulkan pendekatan dua sisi di mana informasi tidak hanya dipertukarkan secara berurutan dari tahap awal hingga akhir, tetapi koneksi lateral antara blok pemrosesan fitur juga ada untuk menghindari hilangnya informasi. Arsitektur multi-tahap yang dihasilkan secara ketat, dinamai MPRNET, memberikan keuntungan kinerja yang kuat pada sepuluh set data di berbagai tugas termasuk gambar yang digali, deblurring, dan denoising. Misalnya, pada dataset Rain100L, GoPro dan DND, kami memperoleh keuntungan PSNR masing-masing 4 dB, 0,81 dB dan 0,21 dB, dibandingkan dengan canggih.

Arsitektur Jaringan

Kerangka kerja keseluruhan MPRNET	Modul perhatian yang diawasi (SAM)

Instalasi

Model ini dibangun di Pytorch 1.1.0 dan diuji pada lingkungan Ubuntu 16.04 (Python3.7, Cuda9.0, Cudnn7.5).

Untuk memasang, ikuti intruksi ini

 conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm

Pasang penjadwal pemanasan

 cd pytorch-gradual-warmup-lr; python setup.py install; cd ..

Lari cepat

Untuk menguji model deblurring yang sudah terlatih, yang digali, denoising pada gambar Anda sendiri, jalankan

 python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here

Berikut adalah contoh untuk melakukan deblurring:

 python demo.py --task Deblurring --input_dir ./samples/input/ --result_dir ./samples/output/

Pelatihan dan evaluasi

Kode pelatihan dan pengujian untuk deblurring, penggali dan denoising disediakan di direktori masing -masing.

Hasil

Eksperimen dilakukan untuk berbagai tugas pemrosesan gambar termasuk, deBlurring gambar, gambar yang digali gambar dan denoising gambar. Gambar yang diproduksi oleh MPRNET dapat diunduh dari tautan Google Drive: DeBlurring, Gelaining, dan Denoising.

Gambar deblurring (klik untuk memperluas)

Deblurring pada dataset sintetis.	Deblurring pada dataset nyata.

Gambar yang digali (klik untuk memperluas)

Gambar denoising (klik untuk memperluas)

Kutipan

Jika Anda menggunakan MPRNET, harap pertimbangkan mengutip:

 @inproceedings{Zamir2021MPRNet,
    title={Multi-Stage Progressive Image Restoration},
    author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
            and Fahad Shahbaz Khan and Ming-Hsuan Yang and Ling Shao},
    booktitle={CVPR},
    year={2021}
}

Kontak

Jika Anda memiliki pertanyaan, silakan hubungi [email protected]

Karya terkait kami

• Mempelajari fitur yang diperkaya untuk restorasi dan peningkatan gambar cepat, tpami 2022. Kertas | Kode
• Restormer: Transformator yang efisien untuk restorasi gambar resolusi tinggi, CVPR 2022. Kertas | Kode
• Mempelajari fitur yang diperkaya untuk restorasi dan peningkatan gambar nyata, ECCV 2020. Kertas | Kode
• Cycleisp: Restorasi gambar nyata melalui Sintesis Data yang Ditingkatkan, CVPR 2020. Kertas | Kode