Uformer Downing - Uformer Kode Sumber

Uformer

ular piton

1.0.0

Unduh

UFORMER: Transformator Umum berbentuk U untuk restorasi gambar (CVPR 2022)

Zhendong Wang, Xiaodong Cun, Jianmin Bao, Wengang Zhou, Jianzhuang Liu, Houqiang LI

Tautan kertas: [arxiv] [CVPR]

Memperbarui:

2024.10.24 Memperbaiki tautan kedaluwarsa.
2022.07.06 Unggah kode dan model baru untuk UFormer kami.
2022.04.09 Mengunggah hasil UFormer pada Denoising (SIDD, DND), Motion Deblurring (GoPro, Hide, RealBlur-J/-R), dan Defocus Deblurring (DPDD).
2022.03.02 Uformer telah diterima oleh CVPR 2022!
2021.11.30 UPDATE UFORMER DI ARXIV LINK. Kode, model, dan hasil baru akan diunggah.
2021.10.28 Rilis Hasil UFORMER32 pada SIDD dan DND.
2021.09.30 Rilis pra-terlatih UFORMER16 untuk SIDD Denoising.
2021.08.19 Rilis model pra-terlatih (uFormer32)! Tambahkan skrip untuk perhitungan Flop/GMAC.
2021.07.29 Tambahkan skrip untuk menguji model pra-terlatih pada gambar resolusi sewenang-wenang.

Dalam makalah ini, kami menyajikan uFormer, arsitektur berbasis transformator yang efektif dan efisien, di mana kami membangun jaringan encoder-decoder hierarkis menggunakan blok transformator untuk restorasi gambar. Uformer memiliki dua desain inti untuk membuatnya cocok untuk tugas ini. Elemen kunci pertama adalah blok transformator jendela yang ditingkatkan lokal, di mana kami menggunakan swadaya berbasis jendela yang tidak tumpang tindih untuk mengurangi persyaratan komputasi dan menggunakan konvolusi yang bijaksana dalam jaringan feed-forward untuk lebih meningkatkan potensinya untuk menangkap konteks lokal. Elemen kunci kedua adalah bahwa kami mengeksplorasi tiga skema skip-koneksi untuk secara efektif mengirimkan informasi dari encoder ke decoder. Didukung oleh dua desain ini, UFORMer menikmati kemampuan tinggi untuk menangkap ketergantungan yang bermanfaat untuk pemulihan gambar. Eksperimen ekstensif pada beberapa tugas restorasi gambar menunjukkan keunggulan UFormer, termasuk gambar denoising, penggali, deblurring dan demoireing. Kami berharap bahwa pekerjaan kami akan mendorong penelitian lebih lanjut untuk mengeksplorasi arsitektur berbasis transformator untuk tugas penglihatan tingkat rendah.

Uformer

Dependensi paket

Proyek ini dibangun dengan Pytorch 1.9.0, Python3.7, Cuda11.1. Untuk dependensi paket, Anda dapat menginstalnya dengan:

pip install -r requirements.txt

Model pretrained

UFormer_B: Sidd | GoPro

Hasil dari model pretrained

UFormer_B: Sidd | Dnd | GoPro | Sembunyikan | Realblur-j | Realblur-r | Dpdd

Persiapan data

Denoising

Untuk data pelatihan SIDD, Anda dapat mengunduh dataset SIDD-Medium dari URL resmi. Kemudian hasilkan tambalan pelatihan untuk pelatihan dengan:

 python3 generate_patches_SIDD . py - - src_dir .. / SIDD_Medium_Srgb / Data - - tar_dir .. / datasets / denoising / sidd / train

Untuk evaluasi pada SIDD dan DND, Anda dapat mengunduh data dari sini.

Deblurring

Untuk pelatihan tentang GoPro, dan evaluasi tentang GoPro, Hide, Realblur-J dan Realblur-R, Anda dapat mengunduh data dari sini.

Kemudian masukkan semua data denoising ke dalam ../datasets/denoising , dan semua data deblurring ke dalam ../datasets/deblurring .

Pelatihan

Denoising

Untuk melatih uformer di SIDD, Anda dapat memulai pelatihan dengan:

sh script/train_denoise.sh

Deblurring

Untuk melatih uformer di GoPro, Anda dapat memulai pelatihan dengan:

sh script/train_motiondeblur.sh

Evaluasi

Untuk mengevaluasi uFormer, Anda dapat menjalankan:

sh script/test.sh

Untuk mengevaluasi pada setiap dataset, Anda harus membuka baris yang sesuai.

Biaya komputasi

Kami memberikan skrip sederhana untuk menghitung kegagalan sendiri, skrip sederhana telah ditambahkan dalam model.py . Anda dapat mengubah konfigurasi dan menjalankan:

 python3 model . py

Perhitungan manual GMAC dalam repo ini sedikit berbeda dari kertas utama, tetapi mereka tidak mempengaruhi kesimpulan. Kami akan memperbaiki kertas nanti.

Kutipan

Jika Anda menemukan proyek ini berguna dalam penelitian Anda, silakan pertimbangkan mengutip:

 @InProceedings{Wang_2022_CVPR,
    author    = {Wang, Zhendong and Cun, Xiaodong and Bao, Jianmin and Zhou, Wengang and Liu, Jianzhuang and Li, Houqiang},
    title     = {Uformer: A General U-Shaped Transformer for Image Restoration},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {17683-17693}
}