CascadePSP

CASCADEPSP: Vers une segmentation de classe auto-agnostique et très haute résolution via un raffinement global et local

Ho Kei Cheng *, Jihoon Chung *, Yu-Wing Tai, Chi-Keung Tang

[arXiv] [PDF]

[Informations supplémentaires (comparaisons avec DENSECRF incluses!)]

[Résultats de l'image supplémentaires]

Introduction

CascadePSP est un modèle d'apprentissage en profondeur pour le raffinement de segmentation haute résolution. Ce référentiel contient notre implémentation Pytorch avec les fonctionnalités de formation et de test. Nous fournissons également l'ensemble de données UHD annoté Big et le modèle pré-entraîné.

Voici quelques résultats de raffinement sur les images haute résolution.

Démarrage rapide

Testé sur Pytorch 1.0 - bien que des versions plus élevées fonctionneraient probablement également pour l'inférence.

Découvrez ce dossier. Nous avons construit un package PIP qui peut affiner une image d'entrée avec deux lignes de code.

Installer avec

pip install segmentation-refinement

Démo de code:

 import cv2
import time
import matplotlib . pyplot as plt
import segmentation_refinement as refine
image = cv2 . imread ( 'test/aeroplane.jpg' )
mask = cv2 . imread ( 'test/aeroplane.png' , cv2 . IMREAD_GRAYSCALE )

# model_path can also be specified here
# This step takes some time to load the model
refiner = refine . Refiner ( device = 'cuda:0' ) # device can also be 'cpu'

# Fast - Global step only.
# Smaller L -> Less memory usage; faster in fast mode.
output = refiner . refine ( image , mask , fast = False , L = 900 ) 

# this line to save output
cv2 . imwrite ( 'output.png' , output )

plt . imshow ( output )
plt . show ()

Aperçu du réseau

Étape globale et étape locale

Étape mondiale	Étape locale

Module de raffinement

Table des matières

En cours d'exécution:

• Installation
• Entraînement
• Test sur la segmentation sémantique
• Test sur l'analyse de la scène

Téléchargements:

• Modèles pré-entraînés
• Grand ensemble de données et Pascal COV 2012

Plus de résultats

Affiner les masques de 3,6 m humains

Image	Masque d'origine	Masque raffiné

La première rangée est le cas de défaillance (voir cou).

Crédit

Implémentation PSPNET: https://github.com/lextal/pspnet-pytorch

Implémentation de Syncbn: https://github.com/vacancy/synchronisé-batchnorm-pytorch

Si vous trouvez notre travail utile dans vos recherches, veuillez citer ce qui suit:

 @inproceedings { cheng2020cascadepsp ,
  title = { {CascadePSP}: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement } ,
  author = { Cheng, Ho Kei and Chung, Jihoon and Tai, Yu-Wing and Tang, Chi-Keung } ,
  booktitle = { CVPR } ,
  year = { 2020 }
}