MPRNet
1.0.0
Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang y Ling Shao
Nos complace ver que nuestro trabajo ha inspirado las soluciones ganadoras en los desafíos de Ntire 2021 :
Resumen: Las tareas de restauración de imágenes exigen un equilibrio complejo entre los detalles espaciales y la información contextualizada de alto nivel mientras se recuperan las imágenes. En este artículo, proponemos un diseño sinérgico novedoso que puede equilibrar de manera óptima estos objetivos competidores. Nuestra principal propuesta es una arquitectura de varias etapas, que aprende progresivamente las funciones de restauración para las entradas degradadas, desglosando así el proceso de recuperación general en pasos más manejables. Específicamente, nuestro modelo primero aprende las características contextualizadas utilizando arquitecturas de codificadores codificadores y luego las combina con una rama de alta resolución que conserva la información local. En cada etapa, presentamos un novedoso diseño adaptativo por píxel que aprovecha la atención supervisada in situ para volver a dar a conocer las características locales. Un ingrediente clave en una arquitectura de este tipo de etapas es el intercambio de información entre diferentes etapas. Con este fin, proponemos un enfoque de dos facetos donde la información no solo se intercambia secuencialmente de etapas tempranas a tardías, sino que también existen conexiones laterales entre los bloques de procesamiento de características para evitar cualquier pérdida de información. La arquitectura múltiple de la etapa muy interconectada resultante, llamada MPRNET, ofrece fuertes ganancias de rendimiento en diez conjuntos de datos en una variedad de tareas que incluyen descarriación de imágenes, deshurring y denoización. Por ejemplo, en los conjuntos de datos Rain100L, GoPro y DND, obtenemos ganancias de PSNR de 4 dB, 0.81 dB y 0.21 dB, respectivamente, en comparación con el estado del arte.
Marco general de MPRNET | Módulo de atención supervisado (SAM) |
El modelo está construido en Pytorch 1.1.0 y se prueba en el entorno Ubuntu 16.04 (Python3.7, Cuda9.0, Cudnn7.5).
Para la instalación, siga estas intracciones
conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm
Instalar el programador de calentamiento
cd pytorch-gradual-warmup-lr; python setup.py install; cd ..
Para probar los modelos previamente capacitados de desgarrar, descarrilar, denominar en sus propias imágenes, ejecutar
python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here
Aquí hay un ejemplo para realizar la eliminación:
python demo.py --task Deblurring --input_dir ./samples/input/ --result_dir ./samples/output/
Los códigos de capacitación y prueba para la desgarro, la descarriación y la renovación se proporcionan en sus respectivos directorios.
Los experimentos se realizan para diferentes tareas de procesamiento de imágenes, incluidas la desbordamiento de imágenes, la descarriación de imágenes y la renovación de imágenes. Las imágenes producidas por MPRNET se pueden descargar desde los enlaces de Google Drive: Despliring, Rervising y Denoising.
Desarrollando en conjuntos de datos sintéticos. | Desarrollando en el conjunto de datos real. |
Si usa MPRNET, considere citar:
@inproceedings{Zamir2021MPRNet,
title={Multi-Stage Progressive Image Restoration},
author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
and Fahad Shahbaz Khan and Ming-Hsuan Yang and Ling Shao},
booktitle={CVPR},
year={2021}
}
Si tiene alguna pregunta, comuníquese con [email protected]
