Restormer
Pretrained Models
Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan และ Ming-Hsuan Yang
บทคัดย่อ: เนื่องจากเครือข่ายประสาทสัมผัส (CNNS) ทำงานได้ดีในการเรียนรู้ภาพลักษณ์ทั่วไปจากข้อมูลขนาดใหญ่แบบจำลองเหล่านี้ได้ถูกนำไปใช้อย่างกว้างขวางกับการฟื้นฟูภาพและงานที่เกี่ยวข้อง เมื่อเร็ว ๆ นี้อีกระดับหนึ่งของสถาปัตยกรรมประสาทหม้อแปลงได้แสดงให้เห็นถึงประสิทธิภาพที่เพิ่มขึ้นอย่างมีนัยสำคัญในภาษาธรรมชาติและงานการมองเห็นระดับสูง ในขณะที่โมเดลหม้อแปลงช่วยลดข้อบกพร่องของ CNNs (เช่นฟิลด์ที่เปิดกว้างและไม่สามารถเปลี่ยนเนื้อหาได้) ความซับซ้อนในการคำนวณของมันจะเพิ่มขึ้นเป็นสองเท่าด้วยความละเอียดเชิงพื้นที่จึงทำให้ไม่สามารถนำไปใช้กับงานฟื้นฟูภาพส่วนใหญ่ที่เกี่ยวข้องกับภาพความละเอียดสูง ในงานนี้เราเสนอรูปแบบหม้อแปลงที่มีประสิทธิภาพโดยการออกแบบสำคัญหลายอย่างในหน่วยการสร้าง (ความสนใจหลายหัวและเครือข่ายฟีดไปข้างหน้า) ซึ่งสามารถจับการโต้ตอบพิกเซลระยะยาวในขณะที่ยังคงใช้งานได้กับภาพขนาดใหญ่ แบบจำลองของเราชื่อว่า Restoration Transformer (Restormer) บรรลุผลที่ทันสมัยในงานการฟื้นฟูภาพหลายงานรวมถึงภาพที่มาจากภาพการเคลื่อนไหวเดี่ยวภาพเดี่ยว deblurring defocus (ข้อมูลภาพเดี่ยวและสองพิกเซล)
ดูที่ Install.md สำหรับการติดตั้งการพึ่งพาที่จำเป็นในการเรียกใช้ Restormer
ในการทดสอบแบบจำลองการปรับใหม่ที่ผ่านการฝึกอบรมมาก่อนของ Deraining, Motion deblurring, defocus deblurring และ denoising บนภาพของคุณเองคุณสามารถใช้ Google colab หรือบรรทัดคำสั่งดังต่อไปนี้
python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here
ตัวอย่างการใช้งานเพื่อดำเนินการ defocus deblurring บนไดเรกทอรีของภาพ:
python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/' --result_dir './demo/restored/'
ตัวอย่างการใช้งานเพื่อทำการ defocus deblurring บนภาพโดยตรง:
python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/portrait.jpg' --result_dir './demo/restored/'
คำแนะนำในการฝึกอบรมและการทดสอบสำหรับ deraining, motion deblurring, defocus deblurring และ denoising มีให้ในไดเรกทอรีที่เกี่ยวข้อง นี่คือตารางสรุปที่มีไฮเปอร์ลิงก์สำหรับการนำทางที่ง่าย:
| งาน | คำแนะนำการฝึกอบรม | คำแนะนำในการทดสอบ | ผลลัพธ์ภาพของ Restormer |
|---|---|---|---|
| ที่ได้มา | การเชื่อมโยง | การเชื่อมโยง | การดาวน์โหลด |
| การเคลื่อนไหว deblurring | การเชื่อมโยง | การเชื่อมโยง | การดาวน์โหลด |
| deblurring | การเชื่อมโยง | การเชื่อมโยง | การดาวน์โหลด |
| Gaussian denoising | การเชื่อมโยง | การเชื่อมโยง | การดาวน์โหลด |
| denoising ที่แท้จริง | การเชื่อมโยง | การเชื่อมโยง | การดาวน์โหลด |
การทดลองจะดำเนินการสำหรับงานการประมวลผลภาพที่แตกต่างกันรวมถึงภาพที่มาจากภาพการเคลื่อนไหวแบบภาพเดี่ยว deblurring, defocus deblurring (ทั้งในภาพเดียวและข้อมูลพิกเซลคู่) และภาพ denoising (ทั้งใน Gaussian และข้อมูลจริง)
S: defocus image defocus deblurring D: debus dual-pixel deblurring
Super-Row ด้านบน: เรียนรู้รุ่นเดียวเพื่อจัดการระดับเสียงต่าง ๆ Super-Row ด้านล่าง: ฝึกอบรมแบบจำลองแยกต่างหากสำหรับแต่ละระดับเสียงรบกวน
สีเทา | สี |
หากคุณใช้ Restormer โปรดพิจารณาอ้าง:
@inproceedings{Zamir2021Restormer,
title={Restormer: Efficient Transformer for High-Resolution Image Restoration},
author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
and Fahad Shahbaz Khan and Ming-Hsuan Yang},
booktitle={CVPR},
year={2022}
}
หากคุณมีคำถามใด ๆ โปรดติดต่อ [email protected]
ACKNOWLEDGMENT: รหัสนี้ขึ้นอยู่กับกล่องเครื่องมือ BasicSR และ HINET
