Restormer
Pretrained Models
سيدع زامير ، أديتيا أرورا ، سلمان خان ، موناور هايا ، فهد شهاباز خان ، ومينغ هاسوان يانغ
الخلاصة: نظرًا لأن الشبكات العصبية التلافيفية (CNNs) تؤدي جيدًا في تعلم أجزاء الصور القابلة للتعميم من البيانات الواسعة النطاق ، فقد تم تطبيق هذه النماذج على نطاق واسع على استعادة الصور والمهام ذات الصلة. في الآونة الأخيرة ، أظهرت فئة أخرى من البنية العصبية ، المحولات ، مكاسب كبيرة في الأداء على اللغة الطبيعية ومهام الرؤية عالية المستوى. في حين أن نموذج المحول يخفف من أوجه القصور في CNN (أي الحقل المستقبلي المحدود والقدرة على التحول إلى محتوى الإدخال) ، فإن تعقيده الحسابي ينمو من حيث الدقة المكانية ، مما يجعله غير ممكن تطبيقه على معظم مهام استعادة الصور التي تنطوي على صور عالية الدقة. في هذا العمل ، نقترح نموذج محول فعال من خلال إجراء العديد من التصميمات الرئيسية في لبنات البناء (الاهتمام متعدد الرأس وشبكة التغذية المتقدمة) بحيث يمكنه التقاط تفاعلات البكسل بعيدة المدى ، بينما لا يزال ينطبق على الصور الكبيرة. يحقق نموذجنا ، المحول المسماة للاستعادة (Restormer) ، نتائج أحدث على أحدث مهام استعادة الصور ، بما في ذلك بيانات الصورة المقلدة ، وتخفيض الحركة أحادية الشكل ، وتجديد التدوير (صورة أحادية ، وبيانات ذات بكسل مزدوج) ، وتنويع الصورة (Gaussian Grayscale/Coloring ، و Denoing Image).
انظر install.md لتثبيت التبعيات اللازمة لتشغيل Stormer.
لاختبار نماذج المستعرات التي تم تدريبها مسبقًا من deraining ، وتجاهل الحركة ، و depocus deblurring ، و sefining على صورك الخاصة ، يمكنك إما استخدام google colab ، أو خط الأوامر على النحو التالي
python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here
مثال على الاستخدام لأداء defocus deblurring على دليل الصور:
python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/' --result_dir './demo/restored/'
مثال على الاستخدام لأداء defocus deblurring على صورة مباشرة:
python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/portrait.jpg' --result_dir './demo/restored/'
يتم توفير تعليمات التدريب والاختبار لاستئصال الحركة ، وتجديد الحركة ، و defocus deblurring ، و dechining في أدلة كل منها. فيما يلي جدول موجز يحتوي على ارتباطات تشعبية لسهولة التنقل:
| مهمة | تعليمات التدريب | تعليمات الاختبار | النتائج المرئية لـ Restormer |
|---|---|---|---|
| مشفقة | وصلة | وصلة | تحميل |
| الحركة | وصلة | وصلة | تحميل |
| defocus deblurring | وصلة | وصلة | تحميل |
| غاوسي تقليل | وصلة | وصلة | تحميل |
| تقلل حقيقي | وصلة | وصلة | تحميل |
يتم إجراء التجارب لمهام معالجة الصور المختلفة بما في ذلك ، derining Image ، وحركة الصورة الواحدة ، و defocus deblurring (على كل من صورة واحدة وبيانات بكسل مزدوجة) ، ونقل الصور (على البيانات الغوسية والواقعية).
S: صورة واحدة defocus deblurring. D: Dual-pixel defocus deblurring.
أعلى الصف الفائق: تعلم نموذج واحد للتعامل مع مستويات الضوضاء المختلفة. الصف السفلي في الصف الفائق: تدريب نموذج منفصل لكل مستوى ضوضاء.
رمادي | لون |
إذا كنت تستخدم Restormer ، فيرجى التفكير في الإشارة إلى:
@inproceedings{Zamir2021Restormer,
title={Restormer: Efficient Transformer for High-Resolution Image Restoration},
author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
and Fahad Shahbaz Khan and Ming-Hsuan Yang},
booktitle={CVPR},
year={2022}
}
هل يجب أن يكون لديك أي سؤال ، يرجى الاتصال بـ [email protected]
شكر وتقدير: يعتمد هذا الرمز على BasicSr Toolbox و Hinet.
