تنزيل NAFNet - تنزيل رمز المصدر NAFNet

NAFNet

بايثون

1.0.0

تنزيل

Nafnet: شبكة مجانية للتنشيط غير الخطي لاستعادة الصور

تنفيذ Pytorch الرسمي لخطوط الأساس البسيطة للورقة لاستعادة الصور (ECCV2022)

Liangyu Chen، Xiaojie Chu، Xiangyu Zhang ، Jian Sun

على الرغم من وجود تطورات كبيرة في مجال ترميم الصور مؤخرًا ، إلا أن تعقيد النظام لطرق أحدث (SOTA) يزداد أيضًا ، مما قد يعيق التحليل المريح ومقارنة الأساليب. في هذه الورقة ، نقترح خطًا أساسيًا بسيطًا يتجاوز أساليب SOTA وهو فعال من الناحية الحسابية. لزيادة تبسيط خط الأساس ، نكشف أن وظائف التنشيط غير الخطي ، على سبيل المثال sigmoid ، relu ، gelu ، softmax ، وما إلى ذلك ليست ضرورية : يمكن استبدالها بالضرب أو إزالتها. وبالتالي ، فإننا نشتق شبكة خالية من التنشيط غير الخطي ، وهي Nafnet ، من خط الأساس. يتم تحقيق نتائج SOTA في مختلف المعايير الصعبة ، على سبيل المثال 33.69 DB PSNR على GoPro (من أجل إزالة الصورة) ، تتجاوز SOTA 0.38 ديسيبل السابق مع 8.4 ٪ فقط من تكاليفها الحسابية ؛ 40.30 DB PSNR على SIDD (من أجل تقليل الصورة) ، يتجاوز SOTA السابق 0.28 ديسيبل مع أقل من نصف تكاليفها الحسابية.


دينويز	ديبلور	Stereosr (NAFSSR)

PSNR_VS_MACS

أخبار

2022.08.02 يتوفر الآن خط الأساس ، بما في ذلك النماذج المسبقة وتكوينات القطار/الاختبار.

2022.07.03 العمل ذي الصلة ، وتحسين استعادة الصور من خلال إعادة النظر في تجميع المعلومات العالمية (TLC ، المعروف أيضًا باسم TLSC في ورقتنا) يتم قبوله بواسطة ECCV2022 ؟ . رمز متاح على https://github.com/megvii- research/tlc.

2022.07.03 مقبول ورقتنا بواسطة ECCV2022 ؟

2022.06.19 تم اختيار NAFSSR (كفائز بالتحدي) لعرض شفهي في CVPR 2022 ، ورشة عمل NTIRE؟ الفيديو والشرائح والملصق متوفرة الآن.

2022.04.15 ، فاز حل الدقة الفائقة المستندة إلى NAFNET (NAFSSR) بالمركز الأول على تحدي صورة استريو NTIRE 2022! تعليمات التدريب/التقييم انظر هنا.

تثبيت

هذا التنفيذ يعتمد على Basicsr وهو صندوق أدوات مفتوح المصدر لمهام استعادة الصور/الفيديو و Hinet

 python 3.9 .5
pytorch 1.11 .0
cuda 11.3

 git clone https://github.com/megvii-research/NAFNet
cd NAFNet
pip install -r requirements.txt
python setup.py develop --no_cuda_ext

بداية سريعة

صورة DENOISE COLAB DEMO:
صورة DeBlur Colab Demo:
صورة استريو Super-Desolution Colab Demo:
العرض التوضيحي لاستدلال الصورة:
- صورة Denoise:
```
 python basicsr/demo.py -opt options/test/SIDD/NAFNet-width64.yml --input_path ./demo/noisy.png --output_path ./demo/denoise_img.png
```
- صورة ديبلور:
```
 python basicsr/demo.py -opt options/test/REDS/NAFNet-width64.yml --input_path ./demo/blurry.jpg --output_path ./demo/deblur_img.png
```
- --input_path : مسار الصورة المتدهورة
- --output_path : المسار لحفظ الصورة المتوقعة
- يجب تنزيل النماذج المسبقة.
- مدمجة في مساحات Huggingface؟ باستخدام Gradio. جرب العرض التوضيحي على الويب لاستعادة الصورة الفردية
توضيح استنتاج صورة الاستريو:
- صورة استريو فائقة الدقة:
```
 python basicsr/demo_ssr.py -opt options/test/NAFSSR/NAFSSR-L_4x.yml 
--input_l_path ./demo/lr_img_l.png --input_r_path ./demo/lr_img_r.png 
--output_l_path ./demo/sr_img_l.png --output_r_path ./demo/sr_img_r.png
```
- --input_l_path : مسار الصورة اليسرى المتدهورة
- --input_r_path : مسار الصورة اليمنى المتدهورة
- --output_l_path : المسار لحفظ الصورة اليسرى المتوقعة
- --output_r_path : المسار لحفظ الصورة اليمنى المتوقعة
- يجب تنزيل النماذج المسبقة.
- مدمجة في مساحات Huggingface؟ باستخدام Gradio. جرب العرض التوضيحي على الويب لصورة ستيريو فائقة الدقة
جرب عرض الويب مع جميع المهام الثلاث هنا:

النتائج والنماذج التي تم تدريبها مسبقًا

اسم	مجموعة البيانات	PSNR	ssim	نماذج ما قبل	التكوينات
Nafnet-GoPro-Width32	جبرو	32.8705	0.9606	Gdrive \| 百度网盘	قطار \| امتحان
Nafnet-GoPro-Width64	جبرو	33.7103	0.9668	Gdrive \| 百度网盘	قطار \| امتحان
nafnet-sidd-width32	سيد	39.9672	0.9599	Gdrive \| 百度网盘	قطار \| امتحان
Nafnet-Sidd-Width64	سيد	40.3045	0.9614	Gdrive \| 百度网盘	قطار \| امتحان
Nafnet-Reds-Width64	ريدز	29.0903	0.8671	Gdrive \| 百度网盘	قطار \| امتحان
NAFSSR-L_4X	Flickr1024	24.17	0.7589	Gdrive \| 百度网盘	قطار \| امتحان
NAFSSR-L_2X	Flickr1024	29.68	0.9221	Gdrive \| 百度网盘	قطار \| امتحان
خط الأساس GoPro-Width32	جبرو	32.4799	0.9575	Gdrive \| 百度网盘	قطار \| امتحان
خط الأساس GoPro-Width64	جبرو	33.3960	0.9649	Gdrive \| 百度网盘	قطار \| امتحان
خط الأساس-Width32	سيد	39.8857	0.9596	Gdrive \| 百度网盘	قطار \| امتحان
خط الأساس-Width64	سيد	40.2970	0.9617	Gdrive \| 百度网盘	قطار \| امتحان

مهام استعادة الصور

مهمة	مجموعة البيانات	تعليمات القطار/الاختبار	نتائج التصور
صورة إزالة	جبرو	وصلة	Gdrive \| 百度网盘
صورة تقليل	سيد	وصلة	Gdrive \| 百度网盘
الصورة المبللة مع القطع الأثرية JPEG	ريدز	وصلة	Gdrive \| 百度网盘
صورة استريو فائقة الدقة	flickr1024+ميدلبري	وصلة	Gdrive \| 百度网盘

الاستشهادات

إذا كانت Nafnet تساعد في البحث أو العمل ، فيرجى التفكير في ذكر Nafnet.

 @article{chen2022simple,
  title={Simple Baselines for Image Restoration},
  author={Chen, Liangyu and Chu, Xiaojie and Zhang, Xiangyu and Sun, Jian},
  journal={arXiv preprint arXiv:2204.04676},
  year={2022}
}

إذا ساعد NAFSSR في البحث أو العمل ، فيرجى التفكير في الاستشهاد بـ NAFSSR.

 @InProceedings{chu2022nafssr,
    author    = {Chu, Xiaojie and Chen, Liangyu and Yu, Wenqing},
    title     = {NAFSSR: Stereo Image Super-Resolution Using NAFNet},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
    month     = {June},
    year      = {2022},
    pages     = {1239-1248}
}