MPRNet 다운로드 MPRNet 소스 코드 다운로드

MPRNet

파이썬

1.0.0

다운로드

다단 단계 진보 이미지 복원 (CVPR 2021)

Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang 및 Ling Shao

소식

우리는 우리의 작업이 Ntire 2021 과제에서 우승 솔루션 에 영감을 준 것을 기쁘게 생각합니다.

듀얼 픽셀 Defocus Deblurring Challenge-MRNET : 듀얼 픽셀 이미지를위한 다중 정제 네트워크 Defocus deblurring
이미지 디 블러링 챌린지 -Hinet : 이미지 복원을위한 절반 인스턴스 정규화 네트워크

초록 : 이미지 복원 작업은 이미지를 복구하면서 공간 세부 사항과 높은 수준의 상황에 맞는 정보 사이의 복잡한 균형을 요구합니다. 이 논문에서 우리는 이러한 경쟁 목표의 균형을 최적으로 균형을 맞출 수있는 새로운 시너지 디자인을 제안합니다. 우리의 주요 제안은 다단계 아키텍처로, 저하 된 입력에 대한 복원 기능을 점차적으로 학습하여 전체 복구 프로세스를보다 관리하기 쉬운 단계로 나눕니다. 구체적으로, 우리의 모델은 먼저 인코더 디코더 아키텍처를 사용하여 상황에 맞는 기능을 배우고 나중에 로컬 정보를 유지하는 고해상도 지점과 결합합니다. 각 단계에서, 우리는 현지 기능을 재 체류하기 위해 현장 감독주의를 활용하는 새로운 픽셀 적응 디자인을 소개합니다. 이러한 다단계 아키텍처의 핵심 요소는 다른 단계 간의 정보 교환입니다. 이를 위해, 우리는 정보가 초기 단계에서 후기로 순차적으로 교환 될뿐만 아니라 피처 처리 블록 사이의 측면 연결도 정보의 손실을 피하기 위해 존재하는 2 인의 접근법을 제안합니다. MPRNET으로 명명 된 단단히 연결된 다단계 아키텍처는 이미지 파괴, 디 블러 링 및 거부를 포함한 다양한 작업에 걸쳐 10 개의 데이터 세트에서 강력한 성능을 제공합니다. 예를 들어, Rain100L, GOPRO 및 DND 데이터 세트에서, 우리는 최첨단 ART와 비교하여 각각 4dB, 0.81 dB 및 0.21 dB의 PSNR 이득을 얻습니다.

네트워크 아키텍처


mprnet의 전반적인 프레임 워크	감독주의 모듈 (SAM)

설치

이 모델은 Pytorch 1.1.0으로 내장되어 있으며 Ubuntu 16.04 환경에서 테스트되었습니다 (Python3.7, Cuda9.0, Cudnn7.5).

설치하려면 다음을 따르십시오

 conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm

워밍업 스케줄러를 설치하십시오

 cd pytorch-gradual-warmup-lr; python setup.py install; cd ..

빠른 달리기

사전 훈련 된 사전 훈련 된 모델을 테스트하고, 자신의 이미지를 비난하고, 실행

 python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here

다음은 분해를 수행하는 예입니다.

 python demo.py --task Deblurring --input_dir ./samples/input/ --result_dir ./samples/output/

훈련 및 평가

각 디렉토리에 파괴, 탈선 및 비난을위한 교육 및 테스트 코드가 제공됩니다.

결과

이미지 디 블러 링, 이미지 디레인 링 및 이미지 denoising을 포함한 다양한 이미지 처리 작업에 대한 실험이 수행됩니다. MPRNet에서 생성 한 이미지는 Google 드라이브 링크에서 다운로드 할 수 있습니다 : Deblurring, Deraining 및 Denoising.

이미지 디 블러 링 (확장 클릭)


합성 데이터 세트에서 디 블리 링.	실제 데이터 세트에서 디 블리 링.

이미지 디레인 링 (확장 클릭)

이미지 denoising (확장 클릭)

소환

mprnet을 사용하는 경우 다음을 고려하십시오.

 @inproceedings{Zamir2021MPRNet,
    title={Multi-Stage Progressive Image Restoration},
    author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
            and Fahad Shahbaz Khan and Ming-Hsuan Yang and Ling Shao},
    booktitle={CVPR},
    year={2021}
}