MPRNet

การฟื้นฟูภาพหลายขั้นตอน (CVPR 2021)

Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang และ Ling Shao

---

ข่าว

เรามีความสุขที่ได้เห็นว่างานของเราเป็นแรงบันดาลใจให้กับ โซลูชั่นที่ชนะในความท้าทาย NTire 2021 :

• Dual-pixel defocus deblurring Challenge-MRNET: เครือข่ายการปรับแต่งหลายตัวสำหรับภาพคู่พิกเซล defocus deblurring
• Image Deblurring Challenge - Hinet: Half Instance Normalization Network สำหรับการฟื้นฟูภาพ

---

บทคัดย่อ: งานฟื้นฟูภาพต้องการความสมดุลที่ซับซ้อนระหว่างรายละเอียดเชิงพื้นที่และข้อมูลบริบทระดับสูงในขณะที่กู้คืนภาพ ในบทความนี้เราเสนอการออกแบบร่วมกันใหม่ที่สามารถสร้างความสมดุลให้กับเป้าหมายการแข่งขันเหล่านี้ได้อย่างเหมาะสม ข้อเสนอหลักของเราคือสถาปัตยกรรมหลายขั้นตอนที่เรียนรู้ฟังก์ชั่นการฟื้นฟูอย่างต่อเนื่องสำหรับอินพุตที่เสื่อมโทรมซึ่งจะทำให้กระบวนการกู้คืนโดยรวมกลายเป็นขั้นตอนที่จัดการได้มากขึ้น โดยเฉพาะอย่างยิ่งโมเดลของเราก่อนเรียนรู้คุณสมบัติตามบริบทโดยใช้สถาปัตยกรรมเครื่องเข้ารหัสและต่อมารวมเข้ากับสาขาความละเอียดสูงที่เก็บข้อมูลท้องถิ่น ในแต่ละขั้นตอนเราแนะนำการออกแบบแบบปรับตัวต่อพิกเซลนวนิยายที่ใช้ประโยชน์จากความสนใจในแหล่งกำเนิดเพื่อให้ความสนใจกับคุณสมบัติท้องถิ่นอีกครั้ง ส่วนประกอบสำคัญในสถาปัตยกรรมหลายขั้นตอนดังกล่าวคือการแลกเปลี่ยนข้อมูลระหว่างขั้นตอนต่าง ๆ ด้วยเหตุนี้เราจึงเสนอวิธีการสองแง่มุมที่ข้อมูลไม่เพียง แต่แลกเปลี่ยนตามลำดับตั้งแต่ต้นถึงช่วงปลาย แต่การเชื่อมต่อด้านข้างระหว่างบล็อกการประมวลผลคุณลักษณะยังมีอยู่เพื่อหลีกเลี่ยงการสูญเสียข้อมูลใด ๆ สถาปัตยกรรมหลายขั้นตอนที่เชื่อมโยงกันอย่างแน่นหนาซึ่งได้รับการขนานนามว่าเป็น MPRNET ให้ประสิทธิภาพที่แข็งแกร่งในชุดข้อมูลสิบชุดในช่วงของงานรวมถึงภาพที่มาจากภาพการทำลายล้างและการปฏิเสธ ตัวอย่างเช่นในชุดข้อมูล RAIN100L, GOPRO และ DND เราได้รับ PSNR ที่เพิ่มขึ้น 4 เดซิเบล 0.81 เดซิเบลและ 0.21 เดซิเบลตามลำดับเมื่อเทียบกับสถานะของศิลปะ

สถาปัตยกรรมเครือข่าย

กรอบโดยรวมของ mprnet	โมดูลความสนใจภายใต้การดูแล (SAM)

การติดตั้ง

แบบจำลองนี้สร้างขึ้นใน Pytorch 1.1.0 และทดสอบกับ Ubuntu 16.04 สภาพแวดล้อม (Python3.7, Cuda9.0, Cudnn7.5)

สำหรับการติดตั้งให้ทำตามสิ่งอำนวยความสะดวกเหล่านี้

 conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm

ติดตั้ง Warmup Scheduler

 cd pytorch-gradual-warmup-lr; python setup.py install; cd ..

วิ่งอย่างรวดเร็ว

เพื่อทดสอบโมเดลที่ได้รับการฝึกฝนมาล่วงหน้าของ deblurring, deraining, denoising บนภาพของคุณเองเรียกใช้

 python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here

นี่คือตัวอย่างในการทำ deblurring:

 python demo.py --task Deblurring --input_dir ./samples/input/ --result_dir ./samples/output/

การฝึกอบรมและการประเมินผล

รหัสการฝึกอบรมและการทดสอบสำหรับ deblurring, deraining และ denoising มีให้ในไดเรกทอรีที่เกี่ยวข้อง

ผลลัพธ์

การทดลองจะดำเนินการสำหรับงานการประมวลผลภาพที่แตกต่างกันรวมถึงการทำลายภาพภาพที่มาจากภาพและภาพ denoising รูปภาพที่ผลิตโดย MPRNET สามารถดาวน์โหลดได้จากลิงค์ไดรฟ์ Google: deblurring, deraining และ denoising

Image deblurring (คลิกเพื่อขยาย)

deblurring ในชุดข้อมูลสังเคราะห์	deblurring ในชุดข้อมูลจริง

Image Deraining (คลิกเพื่อขยาย)

Image Denoising (คลิกเพื่อขยาย)

การอ้างอิง

หากคุณใช้ mprnet โปรดพิจารณาอ้าง:

 @inproceedings{Zamir2021MPRNet,
    title={Multi-Stage Progressive Image Restoration},
    author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
            and Fahad Shahbaz Khan and Ming-Hsuan Yang and Ling Shao},
    booktitle={CVPR},
    year={2021}
}

ติดต่อ

หากคุณมีคำถามใด ๆ โปรดติดต่อ [email protected]

ผลงานที่เกี่ยวข้องของเรา

• การเรียนรู้คุณสมบัติที่ได้รับการตกแต่งเพื่อการฟื้นฟูและปรับปรุงภาพที่รวดเร็ว TPAMI 2022. กระดาษ | รหัส
• Restormer: หม้อแปลงที่มีประสิทธิภาพสำหรับการฟื้นฟูภาพความละเอียดสูง, CVPR 2022. กระดาษ | รหัส
• การเรียนรู้คุณสมบัติที่ได้รับการตกแต่งเพื่อการฟื้นฟูและปรับปรุงภาพจริง ECCV 2020. กระดาษ | รหัส
• CycleIsp: การฟื้นฟูภาพจริงผ่านการสังเคราะห์ข้อมูลที่ได้รับการปรับปรุง, CVPR 2020. กระดาษ | รหัส