RestormerダウンロードRestormerソースコードのダウンロード

Restormer

パイソン

Pretrained Models

ダウンロード

RESTOMER：高解像度画像修復用の効率的な変圧器（CVPR 2022-オーラル）

Syed Waqas Zamir、Aditya Arora、Salman Khan、Munawar Hayat、Fahad Shahbaz Khan、Ming-Hsuan Yang

ニュース

2022年4月4日：ハギングフェイススペースに統合されていますか？グラデーションの使用。 Webデモを試してみてください：
2022年3月30日： Colab Demoを追加しました。
2022年3月29日： Restormerは、CVPR 2022での口頭発表に選択されていますか？
2022年3月10日：トレーニングコードがリリースされます
2022年3月3日： CVPR 2022で受け入れられた論文？
2021年11月21日：テストコードと事前に訓練されたモデルがリリースされました！

要約：畳み込みニューラルネットワーク（CNNS）は、大規模データから一般化可能な画像事前に学習するのに適しているため、これらのモデルは画像の復元と関連するタスクに広く適用されています。最近、別のクラスのニューラルアーキテクチャであるトランスは、自然言語と高レベルのビジョンタスクで大きなパフォーマンスの向上を示しています。トランスモデルは、CNNSの欠点を軽減しますが（すなわち、コンテンツを入力するための受容フィールドが限られており、適切なフィールドと不適切さ）、その計算の複雑さは空間分解能とともに二次的に成長し、したがって、高解像度の画像を含むほとんどの画像修復タスクに適用することができません。この作業では、ビルディングブロック（マルチヘッドの注意とフィードフォワードネットワーク）にいくつかの重要な設計を作成し、長距離ピクセルの相互作用をキャプチャできるようにすることで、効率的なトランスモデルを提案します。復元変圧器（Restormer）という名前の私たちのモデルは、画像導入、単一画像のモーションデブラリング、デフォルのデブラリング（シングルイメージおよびデュアルピクセルデータ）、画像除去（ガウスグレークスケール/色の除去、現実的な画像除去など、いくつかの画像修復タスクで最新の結果を達成します。

ネットワークアーキテクチャ

インストール

Restormerを実行するために必要な依存関係のインストールについては、install.mdを参照してください。

デモ

導出、モーションデブラー、フォーカスデブラリング、および独自の画像の除去の事前に訓練されたレストマーダーモデルをテストするには、Google Colabを使用するか、次のようにコマンドラインを使用できます。

 python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here

画像のディレクトリでデブラーを実行するための使用の例：

 python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/' --result_dir './demo/restored/'

画像上でデブラリングを直接実行するための使用の例：

 python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/portrait.jpg' --result_dir './demo/restored/'

トレーニングと評価

それぞれのディレクトリには、登録、モーションデブラー、デブラリング、および除去のためのトレーニングとテストの指示が提供されます。簡単なナビゲーションのためのハイパーリンクを含む概要表を次に示します。

タスク	トレーニングの指示	テスト手順	Restormerの視覚的結果
導出	リンク	リンク	ダウンロード
モーションデブリング	リンク	リンク	ダウンロード
デブラリングの焦点	リンク	リンク	ダウンロード
ガウスの除去	リンク	リンク	ダウンロード
本当の除去	リンク	リンク	ダウンロード

結果

実験は、画像導入、単一イメージのモーションデブレーリング、デフォーカスデブレーリング（単一画像とデュアルピクセルデータの両方）、画像除去（ガウスと実際のデータの両方）など、さまざまな画像処理タスクに対して実行されます。

画像由来（クリックして展開）

シングルイメージのモーションデブリング（クリックして展開）

デブラリングを解除する（クリックして展開）

S：シングルイメージフォーカスデブリング。 D：デュアルピクセルフォーカスデブリング。

ガウス画像除去（クリックして展開）

トップスーパーロー：さまざまなノイズレベルを処理するための単一のモデルを学習します。ボトムスーパーロー：各ノイズレベルの個別のモデルをトレーニングします。


グレースケール	色

実際の画像除去（クリックして展開）

引用

Restormerを使用する場合は、引用を検討してください。

 @inproceedings{Zamir2021Restormer,
    title={Restormer: Efficient Transformer for High-Resolution Image Restoration}, 
    author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat 
            and Fahad Shahbaz Khan and Ming-Hsuan Yang},
    booktitle={CVPR},
    year={2022}
}