NAFNet скачать - загрузка исходного кода NAFNet

NAFNet

Питон

1.0.0

Скачать

Nafnet: нелинейная активация бесплатная сеть для восстановления изображений

Официальная реализация Pytorch простых базовых показателей для восстановления изображений (ECCV2022)

Liangyu Chen, Xiaojie Chu, Xiangyu Zhang, Jian Sun

Хотя недавно в области восстановления изображений произошли значительные достижения, сложность системы современных методов (SOTA) также увеличивается, что может препятствовать удобному анализу и сравнению методов. В этой статье мы предлагаем простую базовую линию, которая превышает методы SOTA и является вычислительно эффективным. Чтобы еще больше упростить базовую линию, мы показываем, что нелинейные функции активации, например, Sigmoid, Relu, Gelu, Softmax и т. Д. Не требуются : их можно заменить путем умножения или удаления. Таким образом, мы получаем нелинейную сеть без активации, а именно Nafnet, из базовой линии. Результаты SOTA достигаются по различным сложным показателям, например, 33,69 дБ PSNR на GOPRO (для дебюрации изображений), превышая предыдущие SOTA 0,38 дБ, при этом только 8,4% от его вычислительных затрат; 40,30 дБ PSNR на SIDD (для денирования изображения), превышая предыдущую SOTA 0,28 дБ с менее чем половиной его вычислительных затрат.


Денуз	Деблур	StereoSR (NAFSSR)

Psnr_vs_macs

Новости

2022.08.02 Базовая линия, включая предварительные модели и конфигурации поезда/тестирования, теперь доступны.

2022.07.03 Связанная работа, улучшение восстановления изображений за счет повторного поступления глобальной информационной агрегации (TLC, он же TLSC в нашей статье) принимается ECCV2022 ? Полем Код доступен по адресу https://github.com/megvii-research/tlc.

2022.07.03 Наша статья принимается ECCV2022 ?

2022.06.19 NAFSSR (в качестве победителя вызова) выбран для устной презентации в CVPR 2022, NTIRE Workshop? Презентационное видео, слайды и плакаты доступны сейчас.

2022.04.15 Стерео-изображение на основе NAFNET Super-Resolution Solution (NAFSSR) выиграло 1-е место на вызове Super-Resolution Super-Resolution NTIRE 2022! Инструкции по обучению/оценке см. Здесь.

Установка

Эта реализация, основанная на Basicsr, которая является набором инструментов с открытым исходным кодом для задач восстановления изображения/видео и Hinet

 python 3.9 .5
pytorch 1.11 .0
cuda 11.3

 git clone https://github.com/megvii-research/NAFNet
cd NAFNet
pip install -r requirements.txt
python setup.py develop --no_cuda_ext

Быстрый старт

Изображение демонизируйте демо -колаб:
Изображение Deblur Colab Demo:
Stereo Image Super-Resolution Colab Demo:
Демонстрация вывода с одним изображением:
- Изображение денуз:
```
 python basicsr/demo.py -opt options/test/SIDD/NAFNet-width64.yml --input_path ./demo/noisy.png --output_path ./demo/denoise_img.png
```
- Изображение деблур:
```
 python basicsr/demo.py -opt options/test/REDS/NAFNet-width64.yml --input_path ./demo/blurry.jpg --output_path ./demo/deblur_img.png
```
- --input_path : путь деградированного изображения
- --output_path : путь к сохранению прогнозируемого изображения
- Предварительные модели должны быть загружены.
- Интегрируется в пространства для объятий? Использование Gradio. Попробуйте демо для реставрации в Интернете
Стерео изображение вывод демо:
- Stereo Image Super-Resolution:
```
 python basicsr/demo_ssr.py -opt options/test/NAFSSR/NAFSSR-L_4x.yml 
--input_l_path ./demo/lr_img_l.png --input_r_path ./demo/lr_img_r.png 
--output_l_path ./demo/sr_img_l.png --output_r_path ./demo/sr_img_r.png
```
- --input_l_path : путь деградированного левого изображения
- --input_r_path : Путь деградированного правого изображения
- --output_l_path : путь к сохранению предсказанного левого изображения
- --output_r_path : путь к сохранению предсказанного правильного изображения
- Предварительные модели должны быть загружены.
- Интегрируется в пространства для объятий? Использование Gradio. Попробуйте демо-версию веб-сайта для стереоизображения Super Resolution
Попробуйте веб -демо со всеми тремя задачами здесь:

Результаты и предварительно обученные модели

имя	Набор данных	PSNR	SSIM	Предварительные модели	конфигурации
Nafnet-gopro-width32	Готру	32,8705	0,9606	Gdrive \| 百度网盘	Поезд \| тест
Nafnet-gopro-width64	Готру	33,7103	0,9668	Gdrive \| 百度网盘	Поезд \| тест
NAFNET-SIDD-WIDTH32	Сидд	39,9672	0,9599	Gdrive \| 百度网盘	Поезд \| тест
Nafnet-SIDD-WIDTH64	Сидд	40.3045	0,9614	Gdrive \| 百度网盘	Поезд \| тест
Nafnet-reds-width64	Красные	29.0903	0,8671	Gdrive \| 百度网盘	Поезд \| тест
NAFSSR-L_4X	Flickr1024	24.17	0,7589	Gdrive \| 百度网盘	Поезд \| тест
NAFSSR-L_2X	Flickr1024	29,68	0,9221	Gdrive \| 百度网盘	Поезд \| тест
Базовая линия-ширина32	Готру	32.4799	0,9575	Gdrive \| 百度网盘	Поезд \| тест
Базовая линия-гидроэлектростанция64	Готру	33,3960	0,9649	Gdrive \| 百度网盘	Поезд \| тест
Базовая линия-сидд-WIDTH32	Сидд	39,8857	0,9596	Gdrive \| 百度网盘	Поезд \| тест
Базовая линия-сидд-ширина64	Сидд	40.2970	0,9617	Gdrive \| 百度网盘	Поезд \| тест

Задачи восстановления изображения

Задача	Набор данных	Инструкции поезда/тестирования	Результаты визуализации
Изображение дебюрация	Готру	связь	Gdrive \| 百度网盘
Изображение, дженочное	Сидд	связь	Gdrive \| 百度网盘
Изображение дебюрация с артефактами JPEG	Красные	связь	Gdrive \| 百度网盘
Stereo Image Super-Resolution	Flickr1024+Мидлбери	связь	Gdrive \| 百度网盘

Цитаты

Если Nafnet помогает вашему исследованию или работе, пожалуйста, рассмотрите возможность ссылаться на Nafnet.

 @article{chen2022simple,
  title={Simple Baselines for Image Restoration},
  author={Chen, Liangyu and Chu, Xiaojie and Zhang, Xiangyu and Sun, Jian},
  journal={arXiv preprint arXiv:2204.04676},
  year={2022}
}

Если NAFSSR помогает вашему исследованию или работе, пожалуйста, рассмотрите возможность ссылаться на NAFSSR.

 @InProceedings{chu2022nafssr,
    author    = {Chu, Xiaojie and Chen, Liangyu and Yu, Wenqing},
    title     = {NAFSSR: Stereo Image Super-Resolution Using NAFNet},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
    month     = {June},
    year      = {2022},
    pages     = {1239-1248}
}