CascadePSP

CASCADEPSP: Hacia la segmentación de clase agnóstica y muy alta resolución a través del refinamiento global y local

Ho Kei Cheng*, Jihoon Chung*, Yu-Wing Tai, Chi-Keung Tang

[ARXIV] [PDF]

[Información complementaria (¡comparaciones con densecrf incluido!)]

[Resultados de la imagen complementaria]

Introducción

CASCADEPSP es un modelo de aprendizaje profundo para el refinamiento de segmentación de alta resolución. Este repositorio contiene nuestra implementación de Pytorch con funcionalidades de capacitación y prueba. También proporcionamos el conjunto de datos UHD anotado Big y el modelo previado.

Aquí hay algunos resultados de refinamiento en imágenes de alta resolución.

Comienzo rápido

Probado en Pytorch 1.0, aunque las versiones más altas probablemente también funcionarían por inferencia.

Mira esta carpeta. Hemos creado un paquete PIP que puede refinar una imagen de entrada con dos líneas de código.

Instalar con

pip install segmentation-refinement

Código de demostración:

 import cv2
import time
import matplotlib . pyplot as plt
import segmentation_refinement as refine
image = cv2 . imread ( 'test/aeroplane.jpg' )
mask = cv2 . imread ( 'test/aeroplane.png' , cv2 . IMREAD_GRAYSCALE )

# model_path can also be specified here
# This step takes some time to load the model
refiner = refine . Refiner ( device = 'cuda:0' ) # device can also be 'cpu'

# Fast - Global step only.
# Smaller L -> Less memory usage; faster in fast mode.
output = refiner . refine ( image , mask , fast = False , L = 900 ) 

# this line to save output
cv2 . imwrite ( 'output.png' , output )

plt . imshow ( output )
plt . show ()

Descripción general de la red

Paso global y paso local

Paso global	Paso local

Módulo de refinamiento

Tabla de contenido

Correr:

• Instalación
• Capacitación
• Prueba de segmentación semántica
• Prueba de análisis de escena

Descargas:

• Modelos previos a la aparición
• Big DataSet y Relabeled Pascal Voc 2012

Más resultados

Refinar las máscaras de 3,6 m humanos

Imagen	Máscara original	Máscara refinada

La primera fila es el caso de falla (ver cuello).

Crédito

Implementación de pspnet: https://github.com/lextal/pspnet-pytorch

Implementación de SyncBN: https://github.com/vacancy/synchronized-batchnorm-pytorch

Si encuentra útil nuestro trabajo en su investigación, cite lo siguiente:

 @inproceedings { cheng2020cascadepsp ,
  title = { {CascadePSP}: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement } ,
  author = { Cheng, Ho Kei and Chung, Jihoon and Tai, Yu-Wing and Tang, Chi-Keung } ,
  booktitle = { CVPR } ,
  year = { 2020 }
}