AdaptSegNet

Apprendre à adapter l'espace de sortie structuré pour la segmentation sémantique

Implémentation pytorch de notre méthode pour adapter la segmentation sémantique de l'ensemble de données synthétique (domaine source) à l'ensemble de données réel (domaine cible). Sur la base de cette implémentation, notre résultat est classé troisième au Visda Challenge.

Contact: Yi-Hsuan Tsai (Wasidennis à Gmail Dot Com) et Wei-chih Hung (Whung8 at ucmerced dot edu)

Papier

Apprendre à adapter l'espace de sortie structuré pour la segmentation sémantique
Yi-hsuan tsai *, Wei-chih Hung *, Samuel Schulter, Kihyuk Sohn, Ming-Hsuan Yang et Manmohan Chandraker
Conférence IEEE sur la vision par ordinateur et la reconnaissance des modèles (CVPR), 2018 ( Spotlight ) (* indique une contribution égale).

Veuillez citer notre article si vous le trouvez utile pour vos recherches.

 @inproceedings{Tsai_adaptseg_2018,
  author = {Y.-H. Tsai and W.-C. Hung and S. Schulter and K. Sohn and M.-H. Yang and M. Chandraker},
  booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  title = {Learning to Adapt Structured Output Space for Semantic Segmentation},
  year = {2018}
}

Exemples de résultats

Reuslts quantitatifs

Installation

• Installez Pytorch à partir de http://pytorch.org avec Python 2 et Cuda 8.0

• Nouveau Ajouter l'objectif LS-Gan pour améliorer les performances

  • Utilisation: Ajouter --gan LS pendant l'entraînement (voir ci-dessous pour plus de détails)

• Pytorch 0.4 avec Python 3 et Cuda 8.0

  • Utilisation: Remplacez les codes de formation et d'évaluation par ceux du dossier pytorch_0.4
  • Mise à jour: Tensorboard est fourni en ajoutant --tensorboard dans la commande
  • Remarque: Le modèle à un niveau fonctionne comme prévu, tandis que le modèle à plusieurs niveaux nécessite des poids plus petits, par exemple, --lambda-adv-target1 0.00005 --lambda-adv-target2 0.0005 . Nous enquêterons bientôt sur ce problème.

• Cloner ce repo

 git clone https://github.com/wasidennis/AdaptSegNet
cd AdaptSegNet

Ensemble de données

• Téléchargez l'ensemble de données GTA5 comme domaine source et mettez-les dans le dossier data/GTA5

• Téléchargez l'ensemble de données Cityscapes comme domaine cible et mettez-les dans le dossier data/Cityscapes

Modèles pré-formés

• Veuillez trouver nos modèles prétraités en utilisant RESNET-101 sur trois paramètres de référence ici

• Ils incluent les lignes de base (sans adaptation et avec adaptation des fonctionnalités) et nos modèles (un niveau et multi-niveaux)

Essai

• Nouveaux résultats de mise à jour à l'aide de LS-Gan et à l'aide de synscapes comme domaine source

  • Performances: Vérifiez l'annexe du papier Arxiv mis à jour (mis à jour le 17/10/2019)
  • Modèles pré-formés

• Téléchargez le modèle GTA5-to-Cityscapes pré-formé à plusieurs niveaux et mettez-le dans le dossier model

• Testez le modèle et les résultats seront enregistrés dans le dossier result

 python evaluate_cityscapes.py --restore-from ./model/GTA2Cityscapes_multi-ed35151c.pth

• Ou, testez le lien de modèle de modèle basé sur VGG-16

 python evaluate_cityscapes.py --model DeeplabVGG --restore-from ./model/GTA2Cityscapes_vgg-ac4ac9f6.pth

• Calculez l'IOU sur les paysages urbains (grâce au Code de Visda Challenge)

 python compute_iou.py ./data/Cityscapes/data/gtFine/val result/cityscapes

Exemples de formation

• Nouveau train Le modèle GTA5-TO-CITYSCAPES (un seul niveau avec LS-GAN)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single_lsgan 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.01 
                                     --gan LS

• Former le modèle GTA5-to-Cityscapes (multi-niveaux)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_multi 
                                     --lambda-seg 0.1 
                                     --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001

• Former le modèle GTA5-to-Cityscapes (un niveau)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.001

Implémentation et ensemble de données connexes

• Y.-H. Tsai, K. Sohn, S. Schulter et M. Chandraker. Adaptation du domaine pour la sortie structurée via des représentations discriminantes de patch. Dans ICCV, 2019. (Oral) [Document] [Projet] [Guide de mise en œuvre]
• TOILETTES. Hung, Y.-H Tsai, Y.-T. Liou, Y.-Y. Lin et M.-H. Yang. Apprentissage contradictoire pour la segmentation sémantique semi-supervisée. Dans BMVC, 2018. [Paper] [Code]
• Y.-H. Chen, W.-Y. Chen, Y.-T. Chen, B.-C. Tsai, Y.-C. Frank Wang et M. Sun. Plus de discrimination: Adaptation de la ville croisée des segments de scène routière. Dans ICCV 2017. [Papier] [Projet]

Reconnaissance

Ce code est fortement emprunté à Pytorch-DeepLab.

Note

Le modèle et le code sont disponibles à des fins de recherche non commerciales uniquement.

• 10/2019: Mettez à jour les codes de performance et de formation / évaluation pour l'utilisation de LS-Gan et Synscapes (en particulier grâce à Yan-Ting Liu pour avoir aidé les expériences)
• 01/2019: Mettez le code de formation pour Pytorch 0.4
• 23/07/2018: Mettre à jour le code d'évaluation pour Pytorch 0.4
• 06/04/2018: Mise à jour du modèle VGG-16 pré-entraîné
• 02/2018: code publié