다운로드 Uformer - 소스 코드 다운로드 Uformer

Uformer

파이썬

1.0.0

다운로드

Uformer : 이미지 복원을위한 일반적인 U 자형 변압기 (CVPR 2022)

Zhendong Wang, Xiaodong Cun, Jianmin Bao, Wengang Zhou, Jianzhuang Liu, Houqiang Li

종이 링크 : [arxiv] [CVPR]

업데이트:

2024.10.24 수정 만료 된 링크.
2022.07.06 UFORMER를위한 새 코드 및 모델을 업로드하십시오.
2022.04.09 Denoising (SIDD, DND), 모션 디 블러 링 (GoPro, Hide, RealBlur-J/-r) 및 Defocus deblurring (DPDD)에 대한 Uformer 결과 업로드 결과 업로드.
2022.03.02 UFRER는 CVPR 2022에 의해 받아 들여졌습니다!
2021.11.30 ARXIV 링크에서 UFFORMER 업데이트. 새 코드, 모델 및 결과가 업로드됩니다.
2021.10.28 SIDD 및 DND에서 uformer32의 결과를 해제합니다.
2021.09.30 SIDD DENOISIS를위한 미리 훈련 된 uformer16 릴리스.
2021.08.19 사전 훈련 된 모델을 릴리스하십시오 (uformer32)! Flop/GMAC 계산을 위해 스크립트를 추가하십시오.
2021.07.29 임의의 해상도 이미지에서 미리 훈련 된 모델을 테스트하기 위해 스크립트를 추가합니다.

이 논문에서는 효과적이고 효율적인 변압기 기반 아키텍처 인 Uformer를 제시하며, 여기서 이미지 복원을 위해 변압기 블록을 사용하여 계층 적 인코더 디코더 네트워크를 구축합니다. Uformer는이 작업에 적합한 두 가지 핵심 디자인을 가지고 있습니다. 첫 번째 핵심 요소는 로컬 강화 창 트랜스포머 블록으로, 우리는 비 겹치는 윈도우 기반 자체 변압기를 사용하여 계산 요구 사항을 줄이고 피드 포워드 네트워크에서 깊이 현명한 컨볼 루션을 사용하여 로컬 컨텍스트를 캡처 할 수있는 잠재력을 더욱 향상시킵니다. 두 번째 핵심 요소는 인코더에서 디코더로 정보를 효과적으로 전달하기 위해 3 개의 건너 뛰기 연결 체계를 탐색한다는 것입니다. 이 두 디자인으로 구동되는 Uformer는 이미지 복원을위한 유용한 의존성을 캡처 할 수있는 높은 기능을 즐깁니다. 여러 이미지 복원 작업에 대한 광범위한 실험은 이미지 노이즈, 탈선, 탈피 및 시상식을 포함하여 UFROMER의 우수성을 보여줍니다. 우리는 우리의 작업이 낮은 수준의 비전 작업을위한 변압기 기반 아키텍처를 탐색하기 위해 추가 연구를 장려 할 것으로 기대합니다.

uformer

패키지 종속성

이 프로젝트는 Pytorch 1.9.0, Python3.7, Cuda11.1로 구축되었습니다. 패키지 종속성의 경우 다음과 같이 설치할 수 있습니다.

pip install -r requirements.txt

사방 모델

uformer_b : sidd | Gopro

사전에 사전 모델의 결과

uformer_b : sidd | Dnd | Gopro | 숨기기 | RealBlur-J | RealBlur-r | DPDD

데이터 준비

비난

SIDD의 교육 데이터를 위해 공식 URL에서 SIDD-Medium 데이터 세트를 다운로드 할 수 있습니다. 그런 다음 교육을위한 훈련 패치를 생성합니다.

 python3 generate_patches_SIDD . py - - src_dir .. / SIDD_Medium_Srgb / Data - - tar_dir .. / datasets / denoising / sidd / train

SIDD 및 DND에 대한 평가를 위해 여기에서 데이터를 다운로드 할 수 있습니다.

디 블리 링

GoPro에 대한 교육 및 GOPRO, HIDE, RealBlur-J 및 RealBlur-R에 대한 평가를 위해 여기에서 데이터를 다운로드 할 수 있습니다.

그런 다음 모든 비난 데이터를 ../datasets/denoising 에 넣고 모든 파괴 된 데이터를 ../datasets/deblurring 에 넣습니다.

훈련

비난

SIDD에서 Uformer를 훈련 시키려면 다음과 같이 교육을 시작할 수 있습니다.

sh script/train_denoise.sh

디 블리 링

GoPro에서 Uformer를 훈련 시키려면 다음과 같이 교육을 시작할 수 있습니다.

sh script/train_motiondeblur.sh

평가

UFMER를 평가하려면 다음을 실행할 수 있습니다.

sh script/test.sh

각 데이터 세트에서 평가하려면 해당 라인을 타협해야합니다.

계산 비용

우리는 단순한 스크립트를 직접 계산할 수있는 간단한 스크립트를 제공합니다. model.py 에 간단한 스크립트가 추가되었습니다. 구성을 변경하고 실행할 수 있습니다.

 python3 model . py

이 repo에서 GMAC의 수동 계산은 메인 논문과 약간 다르지만 결론에는 영향을 미치지 않습니다. 나중에 논문을 수정하겠습니다.

소환

이 프로젝트가 귀하의 연구에 유용하다고 생각되면 다음을 고려하십시오.

 @InProceedings{Wang_2022_CVPR,
    author    = {Wang, Zhendong and Cun, Xiaodong and Bao, Jianmin and Zhou, Wengang and Liu, Jianzhuang and Li, Houqiang},
    title     = {Uformer: A General U-Shaped Transformer for Image Restoration},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {17683-17693}
}