DeepLabV3Plus Pytorch Download - DeepLabV3Plus Pytorch Source Code Download

DeepLabV3Plus Pytorch

Python

1.0.0

Télécharger

DeepLabv3Plus-Pytorch

DeepLabv3 pré-entraîné, DeepLabv3 + pour Pascal Voc & Cityscapes.

Démarrage rapide

1. Architectures disponibles

DeepLabv3	DeepLabv3 +
deepLabv3_resnet50	DeepLabv3Plus_resnet50
deepLabv3_resnet101	DeepLabv3Plus_resnet101
DeepLabv3_Mobilenet	DeepLabv3Plus_Mobilenet
deepLabv3_hrnetv2_48	DeepLabv3Plus_Hrnetv2_48
deepLabv3_hrnetv2_32	DeepLabv3Plus_hrnetv2_32
DeepLabv3_xception	DeepLabv3Plus_xception

Veuillez vous référer à Network / Modeling.py pour toutes les entrées de modèle.

Téléchargez des modèles pré-entraînés: Dropbox, Tencent Weiyun

Remarque: L'épine dorsale HRNET a été apportée par @timothylimyl. Une épine dorsale pré-formée est disponible sur Google Drive.

2. Chargez le modèle pré-entraîné:

 model = network . modeling . __dict__ [ MODEL_NAME ]( num_classes = NUM_CLASSES , output_stride = OUTPUT_SRTIDE )
model . load_state_dict ( torch . load ( PATH_TO_PTH )[ 'model_state' ]  )

3. Visualiser les sorties de segmentation:

 outputs = model ( images )
preds = outputs . max ( 1 )[ 1 ]. detach (). cpu (). numpy ()
colorized_preds = val_dst . decode_target ( preds ). astype ( 'uint8' ) # To RGB images, (N, H, W, 3), ranged 0~255, numpy array
# Do whatever you like here with the colorized segmentation maps
colorized_preds = Image . fromarray ( colorized_preds [ 0 ]) # to PIL Image

4. Convolution séparable atrous

Remarque : Tous les modèles pré-entraînés de ce dépôt ont été formés sans convolution séparable atone.

La convolution séparable atrovitaire est soutenue dans ce repo. Nous fournissons un network.convert_to_separable_conv d'outils simple.convert_to_separable_conv pour convertir nn.Conv2d en AtrousSeparableConvolution . Veuillez exécuter main.py avec '--separable_conv' si cela est nécessaire . Voir «main.py» et «réseau / _deepLab.py» pour plus de détails.

5. Prédiction

Image unique:

python predict.py --input datasets/data/cityscapes/leftImg8bit/train/bremen/bremen_000000_000019_leftImg8bit.png  --dataset cityscapes --model deeplabv3plus_mobilenet --ckpt checkpoints/best_deeplabv3plus_mobilenet_cityscapes_os16.pth --save_val_results_to test_results

Dossier d'image:

python predict.py --input datasets/data/cityscapes/leftImg8bit/train/bremen  --dataset cityscapes --model deeplabv3plus_mobilenet --ckpt checkpoints/best_deeplabv3plus_mobilenet_cityscapes_os16.pth --save_val_results_to test_results

6. Nouveau épine dorsale

Veuillez vous référer à cette commit (Xception) pour plus de détails sur la façon d'ajouter de nouveaux épine dorsaux.

7. Nouveaux ensembles de données

Vous pouvez former des modèles DeepLab sur vos propres ensembles de données. Votre torch.utils.data.Dataset doit fournir une méthode de décodage qui transforme vos prédictions en images colorisées, tout comme l'ensemble de données VOC:

 class MyDataset ( data . Dataset ):
    ...
    @ classmethod
    def decode_target ( cls , mask ):
        """decode semantic mask to RGB image"""
        return cls . cmap [ mask ]

Résultats

1. Performance sur Pascal Voc2012 août (21 classes, 513 x 513)

Formation: 513x513 Cravel aléatoire
Validation: 513x513 Crame centrale

Modèle	Taille de lot	Flops	Train / Val OS	mi-	Dropbox	Tencent Weiyun
DeepLabv3-Mobilenet	16	6,0 g	16/16	0,701	Télécharger	Télécharger
DeepLabv3-Resnet50	16	51,4g	16/16	0,769	Télécharger	Télécharger
DeepLabv3-RESNET101	16	72.1g	16/16	0,773	Télécharger	Télécharger
DeepLabv3Plus-Mobilenet	16	17.0g	16/16	0,711	Télécharger	Télécharger
DeepLabv3Plus-Resnet50	16	62,7g	16/16	0,772	Télécharger	Télécharger
DeepLabv3Plus-Resnet101	16	83,4g	16/16	0,783	Télécharger	Télécharger

2. Performance sur les paysages urbains (19 classes, 1024 x 2048)

Formation: 768x768 Cravel aléatoire
Validation: 1024x2048

Modèle	Taille de lot	Flops	Train / Val OS	mi-	Dropbox	Tencent Weiyun
DeepLabv3Plus-Mobilenet	16	135g	16/16	0,721	Télécharger	Télécharger
DeepLabv3Plus-Resnet101	16	N / A	16/16	0,762	Télécharger	N / A

Résultats de la segmentation sur Pascal VOC2012 (DeepLabv3Plus-Mobilenet)

Résultats de la segmentation sur les paysages urbains (DeepLabv3Plus-Mobilenet)

Visualisation de la formation

trainvis

Pascal COV

1. Exigences

pip install -r requirements.txt

2. Préparer des ensembles de données

2.1 COV Pascal standard

Vous pouvez exécuter Train.py avec l'option "- download" pour télécharger et extraire l'ensemble de données PASCAL VOC. Le chemin défaut est './datasets/data':

 /datasets
    /data
        /VOCdevkit 
            /VOC2012 
                /SegmentationClass
                /JPEGImages
                ...
            ...
        /VOCtrainval_11-May-2012.tar
        ...

2.2 Pascal Voc Trainaug (recommandé !!)

Voir le chapitre 4 de [2]

    The original dataset contains 1464 (train), 1449 (val), and 1456 (test) pixel-level annotated images. We augment the dataset by the extra annotations provided by [76], resulting in 10582 (trainaug) training images. The performance is measured in terms of pixel intersection-over-union averaged across the 21 classes (mIOU).

./datasets/data/train_aug.txt inclut les noms de fichiers de 10582 images trains (les images VAL sont exclues). Veuillez télécharger leurs étiquettes à partir de Dropbox ou Tencent Weiyun. Ces étiquettes proviennent du dépôt de Drsleep.

Extraire les étiquettes Trainaug (SegmentationClassaug) dans le répertoire VOC2012.

 /datasets
    /data
        /VOCdevkit  
            /VOC2012
                /SegmentationClass
                /SegmentationClassAug  # <= the trainaug labels
                /JPEGImages
                ...
            ...
        /VOCtrainval_11-May-2012.tar
        ...

3. Formation sur Pascal Voc2012 août

3.1 Visualiser la formation (facultative)

Commencez Visdom Sever pour la visualisation. Veuillez supprimer '--enable_vis' si la visualisation n'est pas nécessaire.

 # Run visdom server on port 28333
visdom -port 28333

3.2 Formation avec OS = 16

Exécutez main.py avec "- année 2012_aug" pour former votre modèle sur Pascal VOC2012 août. Vous pouvez également parallèle votre formation sur 4 GPU avec '--gpu_id 0,1,2,3'

Remarque: il n'y a pas de synchronisation dans ce dépôt, donc une formation avec des GPU multiples et une petite taille de lot peut dégrader les performances. Voir le codage de pytorch pour plus de détails sur SyncBN

python main.py --model deeplabv3plus_mobilenet --enable_vis --vis_port 28333 --gpu_id 0 --year 2012_aug --crop_val --lr 0.01 --crop_size 513 --batch_size 16 --output_stride 16

3.3 Continuer la formation

Exécutez main.py avec '--contiue_training' pour restaurer l'état_dict d'Optimizer et Scheduler de votre_CKPT.

python main.py ... --ckpt YOUR_CKPT --continue_training

3.4. Essai

Les résultats seront enregistrés sur ./Results.

python main.py --model deeplabv3plus_mobilenet --enable_vis --vis_port 28333 --gpu_id 0 --year 2012_aug --crop_val --lr 0.01 --crop_size 513 --batch_size 16 --output_stride 16 --ckpt checkpoints/best_deeplabv3plus_mobilenet_voc_os16.pth --test_only --save_val_results

Paysages urbains

1. Téléchargez les paysages urbains et les extraire dans les «ensembles de données / données / paysages urbains»

 /datasets
    /data
        /cityscapes
            /gtFine
            /leftImg8bit

2. Formez votre modèle sur les paysages urbains

python main.py --model deeplabv3plus_mobilenet --dataset cityscapes --enable_vis --vis_port 28333 --gpu_id 0  --lr 0.1  --crop_size 768 --batch_size 16 --output_stride 16 --data_root ./datasets/data/cityscapes