Restormer 다운로드 Restormer 소스 코드 다운로드

Restormer

파이썬

Pretrained Models

다운로드

RESTORMER : 고해상도 이미지 복원을위한 효율적인 변압기 (CVPR 2022- Oral)

Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan 및 Ming-Hsuan Yang

소식

2022 년 4 월 4 일 : Huggingface 공간에 통합 되었습니까? Gradio 사용. 웹 데모를 시도해보십시오.
2022 년 3 월 30 일 : Colab Demo가 추가되었습니다.
2022 년 3 월 29 일 : CVPR 2022에서 구두 프레젠테이션을 위해 레스트 토머가 선정 되었습니까?
2022 년 3 월 10 일 : 교육 코드가 출시되었습니다
2022 년 3 월 3 일 : CVPR 2022에서 수락 된 종이?
2021 년 11 월 21 일 : 테스트 코드 및 미리 훈련 된 모델이 출시됩니다!

초록 : CNN (Convolutional Neural Networks)은 대규모 데이터에서 일반화 가능한 이미지 사전을 배우는 데 잘 수행되므로 이러한 모델은 이미지 복원 및 관련 작업에 광범위하게 적용되었습니다. 최근에, 또 다른 클래스의 신경 구조 인 Transformers는 자연어 및 고급 비전 작업에 대한 상당한 성능을 보여 주었다. 트랜스포머 모델은 CNN의 단점 (즉, 제한된 수용 필드 및 입력 컨텐츠에 대한 적응성)의 단점을 완화하지만, 계산 복잡성은 공간 해상도에 따라 2 차적으로 증가하므로 고해상도 이미지와 관련된 대부분의 이미지 복원 작업에 적용 할 수 없게됩니다. 이 작업에서는 빌딩 블록 (다중 헤드주의 및 피드 포워드 네트워크)에서 여러 주요 설계를 만들어 장거리 픽셀 상호 작용을 캡처 할 수 있지만 여전히 큰 이미지에 적용 할 수 있도록 효율적인 변압기 모델을 제안합니다. Restoration Transformer (Restormer)라는 이름의 모델은 이미지 파괴, 단일 이미지 모션 디 블러 링 (단일 이미지 및 듀얼 픽셀 데이터) 및 이미지 denoising (가우스 그리스도/컬러 거부, 실제 이미지 데노이징)을 포함하여 여러 이미지 복원 작업에서 최첨단 결과를 달성합니다.

네트워크 아키텍처

설치

RESTORMER를 실행하는 데 필요한 종속성 설치에 대해서는 install.md를 참조하십시오.

데모

미리 훈련 된리스트 토머 모델을 테스트, 모션 디 블러 링, 디포 쿠스 디 블러 링 및 자신의 이미지에서 비난하려면 Google Colab 또는 Command Line을 다음과 같이 사용할 수 있습니다.

 python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here

예제 이미지 디렉토리에서 defocus deblurring을 수행하는 사용 :

 python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/' --result_dir './demo/restored/'

예제 이미지에서 Defocus deblurring을 직접 수행하는 사용 : 직접 :

 python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/portrait.jpg' --result_dir './demo/restored/'

훈련 및 평가

해체, 모션 디 블러 링, 디포 쿠스 디 블러 링 및 비난에 대한 교육 및 테스트 지침은 해당 디렉토리에 제공됩니다. 다음은 쉬운 내비게이션을위한 하이퍼 링크가 포함 된 요약 테이블입니다.

일	훈련 지침	테스트 지침	RESTORMER의 시각적 결과
파괴	링크	링크	다운로드
모션 디 블러 링	링크	링크	다운로드
Defocus deblurring	링크	링크	다운로드
가우스 비난	링크	링크	다운로드
진짜 비난	링크	링크	다운로드

결과

실험은 이미지 파괴, 단일 이미지 모션 디 블러 링, 단일 이미지 및 듀얼 픽셀 데이터 모두에서 단일 이미지 모션 디 블러링 (단일 이미지 및 듀얼 픽셀 데이터) 및 이미지 거부 (가우시안 및 실제 데이터 모두)를 포함한 다양한 이미지 처리 작업에 대해 수행됩니다.

이미지 디레인 링 (확장 클릭)

단일 이미지 모션 디 블러링 (클릭하여 확장)

defocus deblurring (확장을 위해 클릭)

S : 단일 이미지 디포 쿠스 디 블러 링. D : 듀얼 픽셀 디포 쿠스 디 블러 링.

가우스 이미지 denoising (확장을 위해 클릭)

최고 수퍼 로우 : 다양한 소음 수준을 처리하기위한 단일 모델을 학습합니다. 하단 슈퍼 로우 : 각 노이즈 레벨마다 별도의 모델을 훈련시킵니다.


그레이 스케일	색상

실제 이미지 denoising (확장 클릭)

소환

RESTORMER를 사용하는 경우 다음을 고려하십시오.

 @inproceedings{Zamir2021Restormer,
    title={Restormer: Efficient Transformer for High-Resolution Image Restoration}, 
    author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat 
            and Fahad Shahbaz Khan and Ming-Hsuan Yang},
    booktitle={CVPR},
    year={2022}
}