ダウンロードUformer - ソースコードのダウンロードUformer

Uformer

パイソン

1.0.0

ダウンロード

UFormer：画像修復用の一般的なU字型変圧器（CVPR 2022）

Zhendong Wang、Xiaodong Cun、Jianmin Bao、Wengang Zhou、Jianzhuang Liu、Houqiang Li

紙のリンク：[arxiv] [cvpr]

アップデート：

2024.10.24期限切れのリンクを修正します。
2022.07.06 Uformerの新しいコードとモデルをアップロードします。
2022.04.09除去（SIDD、DND）、モーションデブリング（GOPRO、HIDE、REALBLUR-J/-R）、およびデフォーカスデブリング（DPDD）のUFORMERの結果をアップロードします。
2022.03.02 UFormerはCVPR 2022によって受け入れられました！
2021.11.30 ARXIVリンクのUFORMERを更新します。新しいコード、モデル、および結果がアップロードされます。
2021.10.28 SIDDおよびDNDでUFormer32の結果をリリースします。
2021.09.30 Sidd Denoising用の事前訓練を受けたUFormer16をリリースします。
2021.08.19事前に訓練されたモデル（UFormer32）をリリースします！フロップ/GMAC計算のスクリプトを追加します。
2021.07.29任意の解像度画像で事前に訓練されたモデルをテストするためのスクリプトを追加します。

このペーパーでは、効果的かつ効率的なトランスベースのアーキテクチャであるUFormerを提示します。このアーキテクチャでは、画像修復用のトランスブロックを使用して階層エンコーダデコーダーネットワークを構築します。 UFormerには、このタスクに適した2つのコアデザインがあります。最初の重要な要素は、ローカルで強化されたウィンドウトランスブロックです。これは、非重複ウィンドウベースの自己触媒を使用して計算要件を減らし、フィードフォワードネットワークで深さごとの畳み込みを使用して、ローカルコンテキストをキャプチャする可能性をさらに向上させます。 2番目の重要な要素は、3つのスキップ接続スキームを検討して、エンコーダーからデコーダーに情報を効果的に配信することです。これらの2つのデザインを搭載したUFormerは、画像の復元のために有用な依存関係をキャプチャするための高い能力を享受しています。いくつかの画像修復タスクに関する広範な実験は、画像の除去、派生、脱生、デモアイアリングなど、Uformerの優位性を示しています。私たちの仕事は、低レベルのビジョンタスクのためのトランスベースのアーキテクチャを探求するためのさらなる研究を促進することを期待しています。

uforfor

パッケージの依存関係

このプロジェクトは、Pytorch 1.9.0、Python3.7、Cuda11.1で構築されています。パッケージの依存関係については、以下をインストールできます。

pip install -r requirements.txt

事前に保護されたモデル

uformer_b：sidd | gopro

前処理されたモデルの結果

uformer_b：sidd | dnd | gopro |非表示| RealBlur-J | RealBlur-r | DPDD

データの準備

除去

SIDDのデータをトレーニングするには、公式URLからSidd-Mediumデータセットをダウンロードできます。次に、トレーニング用のトレーニングパッチを生成します。

 python3 generate_patches_SIDD . py - - src_dir .. / SIDD_Medium_Srgb / Data - - tar_dir .. / datasets / denoising / sidd / train

SIDDとDNDでの評価については、こちらからデータをダウンロードできます。

デブラー

GoProのトレーニング、GoPro、Hide、RealBlur-J、RealBlur-Rの評価については、こちらからデータをダウンロードできます。

次に、すべての非除去データを../datasets/denoisingに入れ、すべての脱生データを../datasets/deblurringに入れます。

トレーニング

除去

SIDDでUForforをトレーニングするには、次のことでトレーニングを開始できます。

sh script/train_denoise.sh

デブラー

GoProでUForforをトレーニングするには、次のことでトレーニングを開始できます。

sh script/train_motiondeblur.sh

評価

uformerを評価するには、実行できます。

sh script/test.sh

各データセットで評価するには、対応するラインを外す必要があります。

計算コスト

フロップを自分で計算するための簡単なスクリプトを提供しますmodel.pyに簡単なスクリプトが追加されています。構成を変更して実行できます。

 python3 model . py

このレポでのGMACの手動計算は、メインペーパーとわずかに異なりますが、結論に影響しません。後で論文を修正します。

引用

このプロジェクトがあなたの研究で役立つと思う場合は、引用を検討してください。

 @InProceedings{Wang_2022_CVPR,
    author    = {Wang, Zhendong and Cun, Xiaodong and Bao, Jianmin and Zhou, Wengang and Liu, Jianzhuang and Li, Houqiang},
    title     = {Uformer: A General U-Shaped Transformer for Image Restoration},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {17683-17693}
}