MPRNet
1.0.0
Сайед Вакас Замир, Адитья Арора, Салман Хан, Мунавар Хаят, Фахад Шахбаз Хан, Мин-Хсуан Ян и Лин Шао
Мы рады видеть, что наша работа вдохновила выигрышные решения в Ntire 2021 .
Аннотация: Задачи восстановления изображений требуют сложного баланса между пространственными деталями и контекстной информацией высокого уровня при восстановлении изображений. В этой статье мы предлагаем новый синергетический дизайн, который может оптимально сбалансировать эти конкурирующие цели. Наше основное предложение-многоэтапная архитектура, которая постепенно изучает функции восстановления для разлагаемых входов, тем самым разбивая общий процесс восстановления на более управляемые шаги. В частности, наша модель сначала изучает контекстуализированные функции, используя архитектуры Encoder-Decoder, а затем объединяет их с филиалом с высоким разрешением, которая сохраняет локальную информацию. На каждом этапе мы вводим новый адаптивный дизайн для PEMEPIXEL, который использует внимание на месте для получения местных функций. Ключевым ингредиентом в такой многоэтапной архитектуре является обмен информацией между разными этапами. С этой целью мы предлагаем подход с двумя заградами, в котором информация не только обменивается последовательно с ранних и поздних стадий, но и боковые соединения между блоками обработки объектов также существуют, чтобы избежать потери информации. Получившаяся в результате тесно связанную многоэтапную архитектуру, названную как MPRNET, обеспечивает сильный рост производительности на десяти наборах данных по ряду задач, включая Deparaining, Deblurring и Anroing. Например, на наборах данных Rain100L, GoPro и DND мы получаем прирост PSNR 4 дБ, 0,81 дБ и 0,21 дБ соответственно по сравнению с современным.
Общая структура MPRnet | Модуль надзора за внимание (SAM) |
Модель построена в Pytorch 1.1.0 и протестирована на среде Ubuntu 16.04 (Python3.7, Cuda9.0, Cudnn7.5).
Для установки следуйте этим сооружениям
conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm
Установите планировщик разминки
cd pytorch-gradual-warmup-lr; python setup.py install; cd ..
Чтобы проверить предварительно обученные модели дебюрризации, разбросаны, разоблачения на своих собственных изображениях, запустить
python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here
Вот пример для выполнения дебюрации:
python demo.py --task Deblurring --input_dir ./samples/input/ --result_dir ./samples/output/
Учебные и тестирующие коды для разборки, разрыва и денирования представлены в их соответствующих каталогах.
Эксперименты выполняются для различных задач обработки изображений, включая, дебюрацию изображений, дебют изображений и разоблачение изображений. Изображения, созданные MPRNET, можно загрузить по ссылкам на Google Drive: дебюрация, делятся и дженонирование.
Разбитие на синтетических наборах данных. | Разборка на реальном наборе данных. |
Если вы используете MPRNET, рассмотрите возможность ссылаться на:
@inproceedings{Zamir2021MPRNet,
title={Multi-Stage Progressive Image Restoration},
author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
and Fahad Shahbaz Khan and Ming-Hsuan Yang and Ling Shao},
booktitle={CVPR},
year={2021}
}
Если у вас есть какой -либо вопрос, пожалуйста, свяжитесь с [email protected]
