MPRNet
1.0.0
سيد ووقاس زامير ، أديتيا أرورا ، سلمان خان ، مونوار هايا ، فهد شهوبز خان ، مينغ هاسوان يانغ ، ولينج شاو
يسعدنا أن نرى أن عملنا قد ألهم الحلول الفائزة في تحديات NTIRE 2021 :
الخلاصة: تتطلب مهام استعادة الصور توازنًا معقدًا بين التفاصيل المكانية والمعلومات السياقية عالية المستوى أثناء استرداد الصور. في هذه الورقة ، نقترح تصميمًا تآزريًا جديدًا يمكنه موازنة هذه الأهداف المتنافسة على النحو الأمثل. اقتراحنا الرئيسي هو بنية متعددة المراحل ، والتي تتعلم تدريجياً وظائف الترميم للمدخلات المتدهورة ، وبالتالي تقسيم عملية الاسترداد الكلية إلى خطوات أكثر قابلية للإدارة. على وجه التحديد ، يتعلم نموذجنا أولاً الميزات السياقية باستخدام بنية ترميز التشفير وتجمعها لاحقًا مع فرع عالي الدقة يحتفظ بالمعلومات المحلية. في كل مرحلة ، نقدم تصميمًا جديدًا لكل بكسل تكيفي يستفيد من الاهتمام في الموقع لإعادة وزن الميزات المحلية. أحد العناصر الرئيسية في مثل هذه البنية متعددة المراحل هو تبادل المعلومات بين المراحل المختلفة. تحقيقًا لهذه الغاية ، نقترح نهجًا ثنائي الأوجه حيث لا يتم تبادل المعلومات بالتتابع فقط من المراحل المبكرة إلى المتأخرة ، ولكن توجد أيضًا اتصالات جانبية بين كتل معالجة الميزات لتجنب أي فقدان للمعلومات. توفر الهندسة المعمارية المتعددة المراحل المترابطة بإحكام ، والتي تحمل اسم MPRNET ، مكاسب أداء قوية على عشر مجموعات بيانات عبر مجموعة من المهام بما في ذلك الصور المقلدة ، وتجاهلها ، وتوضيحها. على سبيل المثال ، على RAIN100L و GOPRO و DND ، نحصل على مكاسب PSNR تبلغ 4 ديسيبل ، 0.81 ديسيبل و 0.21 ديسيبل ، على التوالي ، مقارنةً بحالة أحدث.
الإطار العام لـ MPRNET | وحدة الانتباه الخاضعة للإشراف (SAM) |
تم تصميم النموذج في Pytorch 1.1.0 واختباره على بيئة Ubuntu 16.04 (Python3.7 ، Cuda9.0 ، Cudnn7.5).
للتثبيت ، اتبع هذه التداخل
conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm
تثبيت جدولة الاحماء
cd pytorch-gradual-warmup-lr; python setup.py install; cd ..
لاختبار النماذج التي تم تدريبها مسبقًا من عمليات إزالة الإزاحة والتشويش على صورك الخاصة ، قم بتشغيلها
python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here
فيما يلي مثال على تنفيذ:
python demo.py --task Deblurring --input_dir ./samples/input/ --result_dir ./samples/output/
يتم توفير رموز التدريب والاختبار من أجل التخلص من و derining و dechining في الدلائل الخاصة بكل منها.
يتم تنفيذ التجارب لمهام معالجة الصور المختلفة بما في ذلك ، إزالة الصورة ، و derining الصورة وتوضيح الصورة. يمكن تنزيل الصور التي تنتجها MPRNET من روابط Google Drive: DEBLURRING و DERAINING و DENISING.
الإلغاء على مجموعات البيانات الاصطناعية. | إزالة على مجموعة البيانات الحقيقية. |
إذا كنت تستخدم MPRNET ، فيرجى التفكير في الإشارة إلى:
@inproceedings{Zamir2021MPRNet,
title={Multi-Stage Progressive Image Restoration},
author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
and Fahad Shahbaz Khan and Ming-Hsuan Yang and Ling Shao},
booktitle={CVPR},
year={2021}
}
هل يجب أن يكون لديك أي سؤال ، يرجى الاتصال بـ [email protected]
