Restormer
Pretrained Models
Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan und Ming-Hsuan Yang
Abstract: Da Faltungsnetzwerke (CNNs) gut verallgemeinerbare Bildpriorente aus großflächigen Daten lernten, wurden diese Modelle ausführlich auf die Bildwiederherstellung und die damit verbundenen Aufgaben angewendet. In jüngster Zeit hat eine weitere Klasse von neuronalen Architekturen, Transformatoren, erhebliche Leistungssteigerungen für natürliche Sprache und Sichtaufgaben auf hoher Ebene gezeigt. Während das Transformatormodell die Mängel von CNNs (dh, begrenztes Empfängnisfeld und Uneingefügungsfähigkeit gegen Eingabeinhalte) mindert, wächst seine rechnerische Komplexität quadratisch mit der räumlichen Auflösung, wodurch es unmöglich ist, auf die meisten Bildwiederherstellungsaufgaben zu gelten, die hochauflösende Bilder beinhalten. In dieser Arbeit schlagen wir ein effizientes Transformatormodell vor, indem wir mehrere wichtige Entwürfe in den Bausteinen (Multi-Head-Aufmerksamkeit und Feed-Forward-Netzwerk) erstellen, sodass es Langstrecken-Pixel-Interaktionen erfassen kann und gleichzeitig auf große Bilder anwendbar bleibt. Unser Modell mit dem Namen Restoration Transformator (Restormer) erzielt auf mehreren Bildrestaurationsaufgaben, darunter bildübergreifende, einzelne Immobilienbewegungsablöhne, Defokus-Abläufe (Einzel-Images- und Dual-Pixel-Daten) und Bild-Beenging (Gauß-Gryscale/Farb-Deno-Denosing sowie Real-Pixel-Denosing).
In der Installation.MD finden Sie die Installation von Abhängigkeiten, die zum Ausführen von Wiedergängern erforderlich sind.
Um die vorgeborenen Wiedergutmachermodelle für die Entspannung, Bewegungsentwagring, Defokus-Deblurring und die demosing auf Ihren eigenen Bildern zu testen, können Sie entweder Google Colab oder die Befehlszeile wie folgt verwenden
python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here
Beispiel Verwendung zur Durchführung von Defokus -Deblurring in einem Bildernverzeichnis:
python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/' --result_dir './demo/restored/'
Beispiel Verwendung zur direkten Ausführung von Defokus -Deblurmen auf einem Bild direkt:
python demo.py --task Single_Image_Defocus_Deblurring --input_dir './demo/degraded/portrait.jpg' --result_dir './demo/restored/'
Trainings- und Prüfanweisungen zum Entfernen, Bewegungsentlebenden, Defokus -Deblurring und Denoising sind in ihren jeweiligen Verzeichnissen enthalten. Hier ist eine Zusammenfassungstabelle mit Hyperlinks für die einfache Navigation:
| Aufgabe | Trainingsanweisungen | Testanweisungen | Die visuellen Ergebnisse von Restormer |
|---|---|---|---|
| Verderb | Link | Link | Herunterladen |
| Bewegung deblamellieren | Link | Link | Herunterladen |
| Defocus Deblurring | Link | Link | Herunterladen |
| Gaußsche Denoising | Link | Link | Herunterladen |
| Echte Denoising | Link | Link | Herunterladen |
Die Experimente werden für verschiedene Bildverarbeitungsaufgaben durchgeführt, einschließlich Bildderbindungen, Einzel-Image-Bewegung, Defokus-Deblurren (sowohl auf einzelnen Bild- als auch Dual-Pixel-Daten) und Bild-Denoising (sowohl auf Gaußschen als auch auf realen Daten).
S: Ein-Image-Defokus-Deblurring. D: Dual-Pixel-Defokus-Deblurren.
Top Super-Reis: Erlernen eines einzelnen Modells, um verschiedene Geräuschpegel zu bewältigen. Bottom Super-Reis: Training eines separaten Modells für jeden Geräuschpegel.
Graustufen | Farbe |
Wenn Sie Restormer verwenden, erwägen Sie bitte:
@inproceedings{Zamir2021Restormer,
title={Restormer: Efficient Transformer for High-Resolution Image Restoration},
author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
and Fahad Shahbaz Khan and Ming-Hsuan Yang},
booktitle={CVPR},
year={2022}
}
Wenn Sie Fragen haben, wenden Sie sich bitte an [email protected]
Bestätigung: Dieser Code basiert auf der Basicsr Toolbox und Hinet.
