Restormer下載 - Restormer源代碼下載

Restormer

Python

Pretrained Models

下載

還原器：高分辨率圖像恢復的有效變壓器（CVPR 2022-口服）

Syed Waqas Zamir，Aditya Arora，Salman Khan，Munawar Hayat，Fahad Shahbaz Khan和Ming-Hsuan Yang

消息

2022年4月4日：集成到擁抱面空間？使用Gradio。嘗試網絡演示：
2022年3月30日：添加了COLAB演示。
2022年3月29日：選擇Restormer在CVPR 2022上選擇口頭介紹？
2022年3月10日：培訓代碼已發布
2022年3月3日：在CVPR 2022接受的論文？
2021年11月21日：發布測試代碼和預培訓模型！

摘要：由於卷積神經網絡（CNN）在從大規模數據中學習可通用的圖像先驗方面表現良好，因此這些模型已廣泛應用於圖像恢復和相關任務。最近，另一類的神經體系結構，變形金剛顯示出關於自然語言和高級視覺任務的顯著性能。雖然變壓器模型減輕了CNN的缺點（即，有限的接受場和輸入含量的不適應能力），但其計算複雜性隨空間分辨率而倍增，因此使其不可避免地適用於涉及高分辨率圖像的大多數圖像恢復任務。在這項工作中，我們通過在構建塊（多頭注意力和饋送前向網絡）中製作多個關鍵設計來提出一個有效的變壓器模型，以便它可以捕獲遠程像素交互，同時仍然適用於大圖像。我們的模型稱為Restoration Transformer（Restormer），在幾個圖像恢復任務上獲得了最先進的結果，包括圖像恢復任務，單位圖，單位運動去除，Defocus DeBlurring（單形像和雙像素數據）以及圖像DeNoising（Gaussian Grayscale/color color colarescale/color colorscale/color deNoising和真實的圖像DeNoising）。

網絡架構

安裝

有關運行Restormer所需的依賴項的安裝，請參見install.md。

演示

要測試預先訓練的修復機模型，以驅動，運動去縮短，脫焦造成脫毛和降解，您可以使用Google Colab或命令行作為以下

 python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here

在圖像目錄上執行defocus deblurring的示例用法：

 python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/' --result_dir './demo/restored/'

示例用法直接在圖像上執行Defocus Deblurring：

 python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/portrait.jpg' --result_dir './demo/restored/'

培訓和評估

在其各自的目錄中提供了用於降低，運動去膨脹，脫焦性脫毛和脫氧的訓練和測試指令。這是一個包含超鏈接的摘要表，可輕鬆導航：

任務	培訓說明	測試說明	Restormer的視覺結果
德國	關聯	關聯	下載
運動脫張	關聯	關聯	下載
Defocus Deblurring	關聯	關聯	下載
高斯denoising	關聯	關聯	下載
真正的DeNoing	關聯	關聯	下載

結果

對不同的圖像處理任務進行了實驗，包括圖像傳播，單圖像運動去膨脹，DeFocus Deblurring（在單個圖像和雙像素數據上）以及圖像DeNoising（在高斯和真實數據上）。

圖像deraining （單擊以展開）

單片圖像動態（單擊以展開）

DeFocus DeBlurring （單擊以展開）

S：單形圖像散焦。 D：雙像素defocus deblurring。

高斯圖像denoising （單擊以展開）

頂級超級排：學習一個模型來處理各種噪聲水平。底部超級行：訓練每個噪聲水平的單獨模型。


灰度	顏色

真實的圖像denoising （單擊以展開）

引用

如果您使用Restormer，請考慮引用：

 @inproceedings{Zamir2021Restormer,
    title={Restormer: Efficient Transformer for High-Resolution Image Restoration}, 
    author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat 
            and Fahad Shahbaz Khan and Ming-Hsuan Yang},
    booktitle={CVPR},
    year={2022}
}