Uformer التنزيل - Uformer تنزيل رمز المصدر

Uformer

بايثون

1.0.0

تنزيل

Uformer: محول عام على شكل حرف U لاستعادة الصور (CVPR 2022)

Zhendong Wang ، Xiaodong Cun ، Jianmin Bao ، Wengang Zhou ، Jianzhuang Liu ، Houqiang Li

رابط الورق: [arxiv] [CVPR]

تحديث:

2024.10.24 إصلاح الروابط منتهية الصلاحية.
2022.07.06 قم بتحميل رموز ونماذج جديدة لـ Ufformer.
2022.04.09 تحميل نتائج Uformer على تقليل (SIDD ، DND) ، ومواد الحركة (GoPro ، Hide ، Realblur-J/-r) ، و defocus deblurring (DPDD).
2022.03.02 تم قبول Uformer من قبل CVPR 2022!
2021.11.30 تحديث Uformer في Arxiv Link. سيتم تحميل الكود والنماذج والنتائج الجديدة.
2021.10.28 حرر نتائج Uformer32 على SIDD و DND.
2021.09.30 إطلاق Uformer16 تدرب مسبقًا لـ SIDD Dechining.
2021.08.19 أطلق نموذجًا تم تدريبه مسبقًا (Uformer32)! أضف نصيًا لحساب Flop/GMAC.
2021.07.29 أضف نصًا لاختبار النموذج الذي تم تدريبه مسبقًا على الصور التعسفية.

في هذه الورقة ، نقدم uformer ، وهي بنية فعالة وفعالة تستند إلى المحولات ، حيث نقوم ببناء شبكة ترميز ترفيدي هرمي باستخدام كتلة المحول لاستعادة الصور. لدى Uformer تصميمان أساسيان لجعله مناسبًا لهذه المهمة. العنصر الرئيسي الأول هو كتلة محول النوافذ المحلية المحلية ، حيث نستخدم الاهتمام الذاتي غير المتداخلة على النافذة لتقليل المتطلبات الحسابية وتوظيف الالتفاف بالعمق في شبكة التغذية إلى الأمام لزيادة تحسين إمكاناتها لالتقاط السياق المحلي. العنصر الرئيسي الثاني هو أننا نستكشف ثلاثة مخططات توصيل تخطي لتقديم معلومات فعالة من المشفر إلى وحدة فك الترميز. مدعومًا من هذين التصميمين ، يتمتع Uformer بقدرة عالية على التقاط تبعيات مفيدة لاستعادة الصور. تُظهر تجارب واسعة النطاق على العديد من مهام استعادة الصور تفوق uformer ، بما في ذلك تقليل الصور ، derained ، deblurring and demoire. نتوقع أن يشجع عملنا المزيد من الأبحاث على استكشاف البنى المستندة إلى المحولات لمهام الرؤية منخفضة المستوى.

uformer

حزمة التبعيات

تم تصميم المشروع مع Pytorch 1.9.0 ، Python3.7 ، CUDA11.1. لتبعيات الحزمة ، يمكنك تثبيتها بواسطة:

pip install -r requirements.txt

نموذج ما قبل

Uformer_B: SIDD | جبرو

نتائج النموذج المسبق

Uformer_B: SIDD | DND | GoPro | إخفاء | Realblur-J | Realblur-R | DPDD

إعداد البيانات

تقلل

لتدريب بيانات SIDD ، يمكنك تنزيل مجموعة بيانات Sidd-Medium من عنوان URL الرسمي. ثم قم بتوليد تصحيحات تدريب للتدريب بواسطة:

 python3 generate_patches_SIDD . py - - src_dir .. / SIDD_Medium_Srgb / Data - - tar_dir .. / datasets / denoising / sidd / train

للتقييم على SIDD و DND ، يمكنك تنزيل البيانات من هنا.

إزالة

للتدريب على GoPro ، والتقييم على GoPro و Hide و Realblur-J و Realblur-R ، يمكنك تنزيل البيانات من هنا.

ثم ضع جميع البيانات القشرية في ../datasets/denoising ، وجميع البيانات المزعجة في ../datasets/deblurring .

تمرين

تقلل

لتدريب Uformer على SIDD ، يمكنك البدء في التدريب بواسطة:

sh script/train_denoise.sh

إزالة

لتدريب Uformer على GoPro ، يمكنك بدء التدريب بواسطة:

sh script/train_motiondeblur.sh

تقييم

لتقييم Uformer ، يمكنك تشغيل:

sh script/test.sh

للتقييم على كل مجموعة بيانات ، يجب عليك عدم التخلص من الخط المقابل.

التكلفة الحسابية

نحن نقدم نصًا بسيطًا لحساب التقلبات بأنفسنا ، تمت إضافة نص بسيط في model.py . يمكنك تغيير التكوين وتشغيله:

 python3 model . py

يختلف الحساب اليدوي لـ GMACs في هذا الريبو قليلاً عن الورقة الرئيسية ، لكنها لا تؤثر على الاستنتاج. سنقوم بتصحيح الورقة لاحقًا.

اقتباس

إذا وجدت هذا المشروع مفيدًا في بحثك ، فيرجى التفكير في:

 @InProceedings{Wang_2022_CVPR,
    author    = {Wang, Zhendong and Cun, Xiaodong and Bao, Jianmin and Zhou, Wengang and Liu, Jianzhuang and Li, Houqiang},
    title     = {Uformer: A General U-Shaped Transformer for Image Restoration},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {17683-17693}
}