AdaptSegNet

Lernen, den strukturierten Ausgangsraum für die semantische Segmentierung anzupassen

Pytorch -Implementierung unserer Methode zur Anpassung der semantischen Segmentierung aus dem synthetischen Datensatz (Quelldomäne) an den realen Datensatz (Zieldomäne). Basierend auf dieser Implementierung wird unser Ergebnis in der Visda Challenge den 3. Platz belegt.

Kontakt: Yi-Hsuan Tsai (Wasidennis bei Google Mail dot com) und Wei-chih Hung (whunte8 bei Ucmerced dot edu)

Papier

Lernen, den strukturierten Ausgangsraum für die semantische Segmentierung anzupassen
Yi-Hsuan Tsai*, Wei-Chih Hung*, Samuel Schulter, Kihyuk Sohn, Ming-Hsuan Yang und Manmohan Chandraker
IEEE -Konferenz über Computer Vision und Mustererkennung (CVPR), 2018 ( Spotlight ) (* zeigt den gleichen Beitrag an).

Bitte zitieren Sie unser Papier, wenn Sie es für Ihre Forschung nützlich finden.

 @inproceedings{Tsai_adaptseg_2018,
  author = {Y.-H. Tsai and W.-C. Hung and S. Schulter and K. Sohn and M.-H. Yang and M. Chandraker},
  booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  title = {Learning to Adapt Structured Output Space for Semantic Segmentation},
  year = {2018}
}

Beispielergebnisse

Quantitative Reults

Installation

• Installieren Sie Pytorch von http://pytorch.org mit Python 2 und CUDA 8.0

• Neu addieren Sie das LS-GAN-Ziel, um die Leistung zu verbessern

  • Nutzung: Add --gan LS -Option während des Trainings (siehe unten für weitere Details)

• Pytorch 0,4 mit Python 3 und CUDA 8.0

  • Verwendung: Ersetzen Sie die Schulungs- und Bewertungscodes durch die im Ordner pytorch_0.4
  • Update: Tensorboard wird durch Hinzufügen --tensorboard im Befehl bereitgestellt
  • HINWEIS: Das einstufige Modell funktioniert wie erwartet, während das mehrstufige Modell kleinere Gewichte erfordert, z --lambda-adv-target1 0.00005 --lambda-adv-target2 0.0005 Wir werden dieses Problem bald untersuchen.

• Klonen Sie dieses Repo

 git clone https://github.com/wasidennis/AdaptSegNet
cd AdaptSegNet

Datensatz

• Laden Sie den GTA5 -Datensatz als Quelldomäne herunter und geben Sie ihn in den Ordner data/GTA5 ein

• Laden Sie den CityScapes -Datensatz als Zieldomäne herunter und legen Sie ihn in den Ordner data/Cityscapes ein

Vorausgebildete Modelle

• Weitere Modelle finden Sie in drei Benchmark-Einstellungen hier mit ResNet-101

• Dazu gehören Baselines (ohne Anpassung und mit Feature-Anpassung) und unsere Modelle (einstufige und mehrstufige)

Testen

• Neue Update-Ergebnisse mit LS-GAN und Synscapes als Quelldomäne verwenden

  • Leistung: Überprüfen Sie den Anhang des aktualisierten ARXIV -Papiers (aktualisiert am 17.10.2019)
  • Vorausgebildete Modelle

• Laden Sie das vorgebildete Multi-Level-GTA5-to-City-Sendesmodell herunter und legen Sie es in den model ein

• Testen Sie das Modell und die Ergebnisse werden im result gespeichert

 python evaluate_cityscapes.py --restore-from ./model/GTA2Cityscapes_multi-ed35151c.pth

• Oder testen Sie den VGG-16-basierten Modellmodell-Link

 python evaluate_cityscapes.py --model DeeplabVGG --restore-from ./model/GTA2Cityscapes_vgg-ac4ac9f6.pth

• Berechnen Sie die IOU auf Citycapes (dank des Code von Visda Challenge)

 python compute_iou.py ./data/Cityscapes/data/gtFine/val result/cityscapes

Trainingsbeispiele

• Neues Zug des GTA5-to-Cityscapes-Modells (einstufig mit LS-Gan)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single_lsgan 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.01 
                                     --gan LS

• Trainieren Sie das Modell GTA5-to-Cityscapes-Modell (Multi-Level)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_multi 
                                     --lambda-seg 0.1 
                                     --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001

• Trainieren Sie das Modell GTA5-to-Cityscapes-Modell (einstufiges)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.001

Verwandte Implementierung und Datensatz

• Y.-H. Tsai, K. Sohn, S. Schulter und M. Chandraker. Domänenanpassung für die strukturierte Ausgabe über diskriminierende Patch -Darstellungen. In ICCV, 2019. (mündlich) [Papier] [Projekt] [Implementierungsleitfaden]
• WC. Hung, Y.-H Tsai, Y.-T. Liou, y.-y. Lin und M.-H. Yang. Gegenteiles Lernen für semi-überprüfte semantische Segmentierung. In BMVC, 2018. [Papier] [Code]
• Y.-H. Chen, W.-Y. Chen, Y.-T. Chen, B.-C. Tsai, Y.-C. Frank Wang und M. Sun. Keine Diskriminierung mehr: Cross City Adaption von Straßenszenensegmentern. In ICCV 2017. [Papier] [Projekt]

Anerkennung

Dieser Code wird stark von Pytorch-Deeplab geliehen.

Notiz

Das Modell und der Code sind nur für nichtkommerzielle Forschungszwecke verfügbar.

• 10/2019: Aktualisieren Sie die Leistungs- und Trainings-/Bewertungscodes für die Verwendung von LS-GAN und Synscapes (insbesondere dank Yan-Ting-Liu für die Hilfe von Experimenten)
• 01.01.2019: RECHENDEN SIE DEN Trainingscode für Pytorch 0.4
• 23.07.2018: Aktualisieren Sie den Bewertungscode für Pytorch 0.4
• 06/04/2018: Aktualisieren Sie ein vorgezogenes VGG-16-Modell
• 02/2018: Code veröffentlicht