ดาวน์โหลด Uformer - Uformer ซอร์สโค้ดดาวน์โหลด

Uformer

หลาม

1.0.0

ดาวน์โหลด

Uformer: หม้อแปลงรูปตัวยูทั่วไปสำหรับการฟื้นฟูภาพ (CVPR 2022)

Zhendong Wang, Xiaodong Cun, Jianmin Bao, Wengang Zhou, Jianzhuang Liu, Houqiang Li

ลิงค์กระดาษ: [arxiv] [CVPR]

อัปเดต:

2024.10.24 แก้ไขลิงก์ที่หมดอายุ
2022.07.06 อัปโหลดรหัสและรุ่นใหม่สำหรับ uformer ของเรา
2022.04.09 การอัปโหลดผลลัพธ์ของ uformer บน denoising (sidd, dnd), การเคลื่อนไหว deblurring (gopro, hide, realblur-j/-r) และ defocus deblurring (DPDD)
2022.03.02 Uformer ได้รับการยอมรับจาก CVPR 2022!
2021.11.30 UPDATE UFORMER ในลิงค์ ArxIV รหัสรุ่นใหม่และผลลัพธ์จะถูกอัปโหลด
2021.10.28 ปล่อยผลลัพธ์ของ UFORMER32 บน SIDD และ DND
2021.09.30 การเปิดตัว UFORMER16 ที่ได้รับการฝึกอบรมล่วงหน้า 16 สำหรับ SIDD Denoising
2021.08.19 ปล่อยรุ่นที่ผ่านการฝึกอบรมมาก่อน (UFORMER32)! เพิ่มสคริปต์สำหรับการคำนวณ FLOP/GMAC
2021.07.29 เพิ่มสคริปต์สำหรับการทดสอบโมเดลที่ผ่านการฝึกอบรมมาก่อนบนภาพความละเอียดโดยพลการ

ในบทความนี้เรานำเสนอ UFORMER ซึ่งเป็นสถาปัตยกรรมที่ใช้หม้อแปลงที่มีประสิทธิภาพและมีประสิทธิภาพซึ่งเราสร้างเครือข่ายตัวเข้ารหัสแบบลำดับชั้นโดยใช้บล็อกหม้อแปลงสำหรับการฟื้นฟูภาพ Uformer มีการออกแบบหลักสองแบบเพื่อให้เหมาะกับงานนี้ องค์ประกอบสำคัญแรกคือบล็อกหม้อแปลงหน้าต่างที่เพิ่มขึ้นในท้องถิ่นซึ่งเราใช้ความต้องการตนเองที่ไม่ได้อยู่เหนือหน้าต่างเพื่อลดความต้องการการคำนวณและใช้การประชุมเชิงลึกที่ชาญฉลาดในเครือข่ายฟีดไปข้างหน้าเพื่อปรับปรุงศักยภาพในการจับบริบทท้องถิ่น องค์ประกอบสำคัญที่สองคือเราสำรวจแผนการเชื่อมต่อข้ามสามรูปแบบเพื่อส่งข้อมูลจากตัวเข้ารหัสไปยังตัวถอดรหัสได้อย่างมีประสิทธิภาพ ขับเคลื่อนโดยการออกแบบทั้งสองนี้ Uformer มีความสามารถสูงในการจับการพึ่งพาที่เป็นประโยชน์สำหรับการฟื้นฟูภาพ การทดลองอย่างกว้างขวางเกี่ยวกับงานการฟื้นฟูภาพหลายอย่างแสดงให้เห็นถึงความเหนือกว่าของ uformer รวมถึงภาพ denoising, deraining, deblurring และ demoireing เราคาดหวังว่างานของเราจะส่งเสริมการวิจัยเพิ่มเติมเพื่อสำรวจสถาปัตยกรรมที่ใช้หม้อแปลงสำหรับงานการมองเห็นระดับต่ำ

uformer

การพึ่งพาแพ็คเกจ

โครงการสร้างขึ้นด้วย Pytorch 1.9.0, Python3.7, Cuda11.1 สำหรับการพึ่งพาแพ็คเกจคุณสามารถติดตั้งได้โดย:

pip install -r requirements.txt

แบบจำลอง

UFORMER_B: SIDD | GoPro

เป็นผลมาจากแบบจำลองที่ผ่านการฝึกอบรม

UFORMER_B: SIDD | DND | GoPro ซ่อน | RealBlur-J | RealBlur-R | DPDD

การเตรียมข้อมูล

การปฏิเสธ

สำหรับข้อมูลการฝึกอบรมของ SIDD คุณสามารถดาวน์โหลดชุดข้อมูล SIDD-Medium ได้จาก URL อย่างเป็นทางการ จากนั้นสร้างแพทช์การฝึกอบรมสำหรับการฝึกอบรมโดย:

 python3 generate_patches_SIDD . py - - src_dir .. / SIDD_Medium_Srgb / Data - - tar_dir .. / datasets / denoising / sidd / train

สำหรับการประเมินผลใน SIDD และ DND คุณสามารถดาวน์โหลดข้อมูลได้จากที่นี่

การทำลายล้าง

สำหรับการฝึกอบรมเกี่ยวกับ GoPro และการประเมินผลเกี่ยวกับ GoPro, Hide, RealBlur-J และ RealBlur-R คุณสามารถดาวน์โหลดข้อมูลได้จากที่นี่

จากนั้นนำข้อมูล denoising ทั้งหมดลงใน ../datasets/denoising /denoising และข้อมูล deblurring ทั้งหมดลงใน ../datasets/deblurring datasets/deblurring

การฝึกอบรม

การปฏิเสธ

ในการฝึกอบรม uformer บน SIDD คุณสามารถเริ่มการฝึกอบรมได้โดย:

sh script/train_denoise.sh

การทำลายล้าง

ในการฝึกอบรม uformer บน GoPro คุณสามารถเริ่มการฝึกอบรมได้โดย:

sh script/train_motiondeblur.sh

การประเมิน

ในการประเมิน uformer คุณสามารถเรียกใช้:

sh script/test.sh

สำหรับการประเมินในแต่ละชุดข้อมูลคุณควรไม่เขียนบทที่เกี่ยวข้อง

ค่าคำนวณ

เราให้สคริปต์ง่ายๆในการคำนวณ Flops ด้วยตัวเองมีการเพิ่มสคริปต์ง่ายๆใน model.py คุณสามารถเปลี่ยนการกำหนดค่าและเรียกใช้:

 python3 model . py

การคำนวณด้วยตนเองของ GMACs ใน repo นี้แตกต่างจากกระดาษหลักเล็กน้อย แต่พวกเขาไม่ได้มีอิทธิพลต่อข้อสรุป เราจะแก้ไขกระดาษในภายหลัง

การอ้างอิง

หากคุณพบว่าโครงการนี้มีประโยชน์ในการวิจัยของคุณโปรดพิจารณาอ้าง:

 @InProceedings{Wang_2022_CVPR,
    author    = {Wang, Zhendong and Cun, Xiaodong and Bao, Jianmin and Zhou, Wengang and Liu, Jianzhuang and Li, Houqiang},
    title     = {Uformer: A General U-Shaped Transformer for Image Restoration},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {17683-17693}
}