Restormer
Pretrained Models
Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, dan Ming-Hsuan Yang
Abstrak: Karena jaringan saraf konvolusional (CNNs) berkinerja baik pada pembelajaran prior gambar yang dapat digeneralisasikan dari data skala besar, model-model ini telah diterapkan secara luas pada restorasi gambar dan tugas terkait. Baru-baru ini, kelas arsitektur saraf lainnya, Transformers, telah menunjukkan keuntungan kinerja yang signifikan pada bahasa alami dan tugas penglihatan tingkat tinggi. Sementara model transformator mengurangi kekurangan CNNs (yaitu, bidang reseptif terbatas dan ketidakmampuan untuk memasukkan konten), kompleksitas komputasi tumbuh secara kuadratik dengan resolusi spasial, oleh karena itu membuatnya tidak layak untuk diterapkan pada sebagian besar tugas restorasi gambar yang melibatkan gambar resolusi tinggi. Dalam karya ini, kami mengusulkan model transformator yang efisien dengan membuat beberapa desain kunci di blok bangunan (perhatian multi-head dan jaringan umpan-maju) sehingga dapat menangkap interaksi piksel jangka panjang, sambil tetap berlaku untuk gambar besar. Model kami, bernama Transformer Restorasi (Restormer), mencapai hasil canggih pada beberapa tugas restorasi gambar, termasuk gambar yang digali gambar, deBlurring gerakan tunggal, defocus deblurring (data-gambar dan data pixel ganda), dan denoising gambar (denoising gaussian greycale/color denoising, dan gambar nyata).
Lihat install.md untuk pemasangan dependensi yang diperlukan untuk menjalankan restrormer.
Untuk menguji model resormer pra-terlatih dari dereling, deFocus deblurring, dan denoising pada gambar Anda sendiri, Anda dapat menggunakan Google Colab, atau baris perintah sebagai berikut
python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here
Contoh Penggunaan Untuk Melakukan Defocus Deblurring Pada Direktori Gambar:
python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/' --result_dir './demo/restored/'
Contoh Penggunaan Untuk Melakukan Defocus Deblurring pada Gambar Secara Langsung:
python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/portrait.jpg' --result_dir './demo/restored/'
Instruksi pelatihan dan pengujian untuk penggali, deblurring gerak, defocus deblurring, dan denoising disediakan di direktori masing -masing. Berikut adalah tabel ringkasan yang berisi hyperlink untuk navigasi yang mudah:
| Tugas | Instruksi pelatihan | Instruksi pengujian | Hasil Visual Restormer |
|---|---|---|---|
| Penggalian | Link | Link | Unduh |
| Gerakan deblurring | Link | Link | Unduh |
| DEFOKUS DEBLURRING | Link | Link | Unduh |
| Gaussian Denoising | Link | Link | Unduh |
| Denoising nyata | Link | Link | Unduh |
Eksperimen dilakukan untuk tugas pemrosesan gambar yang berbeda termasuk, gambar yang digali gambar, deBlurring gerakan single-image, defocus deblurring (baik pada gambar tunggal dan data piksel ganda), dan denoising gambar (baik pada data Gaussian maupun nyata).
S: Defocus Defocus DEBLURRING. D: Dual-pixel Defocus deblurring.
Top Super-Row: Mempelajari model tunggal untuk menangani berbagai tingkat kebisingan. Bawah Super-Row: Melatih model terpisah untuk setiap tingkat kebisingan.
GRAYSCALE | Warna |
Jika Anda menggunakan Restormer, pertimbangkan mengutip:
@inproceedings{Zamir2021Restormer,
title={Restormer: Efficient Transformer for High-Resolution Image Restoration},
author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
and Fahad Shahbaz Khan and Ming-Hsuan Yang},
booktitle={CVPR},
year={2022}
}
Jika Anda memiliki pertanyaan, silakan hubungi [email protected]
Pengakuan: Kode ini didasarkan pada kotak alat dan Hinet Basicsr.
