CascadePSP

CascadePSP: em direção à segmentação agnóstica de classe e de alta resolução por meio de refinamento global e local

Ho kei cheng*, jihoon chung*, yu-wing tai, chi-kunung tang

[arxiv] [pdf]

[Informações suplementares (comparações com densecrf incluídas!)]]

[Resultados da imagem suplementar]

Introdução

O CascadePSP é um modelo de aprendizado profundo para refinamento de segmentação de alta resolução. Este repositório contém nossa implementação de Pytorch com funcionalidades de treinamento e teste. Também fornecemos o conjunto de dados UHD anotado Big e o modelo pré -treinado.

Aqui estão alguns resultados de refinamento em imagens de alta resolução.

Início rápido

Testado no Pytorch 1.0 - embora versões mais altas provavelmente funcionem para inferência também.

Confira esta pasta. Criamos um pacote PIP que pode refinar uma imagem de entrada com duas linhas de código.

Instale com

pip install segmentation-refinement

Demonstração de código:

 import cv2
import time
import matplotlib . pyplot as plt
import segmentation_refinement as refine
image = cv2 . imread ( 'test/aeroplane.jpg' )
mask = cv2 . imread ( 'test/aeroplane.png' , cv2 . IMREAD_GRAYSCALE )

# model_path can also be specified here
# This step takes some time to load the model
refiner = refine . Refiner ( device = 'cuda:0' ) # device can also be 'cpu'

# Fast - Global step only.
# Smaller L -> Less memory usage; faster in fast mode.
output = refiner . refine ( image , mask , fast = False , L = 900 ) 

# this line to save output
cv2 . imwrite ( 'output.png' , output )

plt . imshow ( output )
plt . show ()

Visão geral da rede

Etapa global e etapa local

Etapa global	Etapa local

Módulo de refinamento

Índice

Correndo:

• Instalação
• Treinamento
• Testes em segmentação semântica
• Testando em cena análise

Downloads:

• Modelos pré -terem sido pretados
• Big DataSet e Relabeled Pascal Voc 2012

Mais resultados

Refinando as máscaras dos 3,6m humanos

Imagem	Máscara original	Máscara refinada

A primeira linha é o caso de falha (veja o pescoço).

Crédito

Implementação do PSPNET: https://github.com/lextal/pspnet-pytorch

Implementação do SyncBN: https://github.com/vacancy/synchronized-batchnorm-pytorch

Se você achar nosso trabalho útil em sua pesquisa, cite o seguinte:

 @inproceedings { cheng2020cascadepsp ,
  title = { {CascadePSP}: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement } ,
  author = { Cheng, Ho Kei and Chung, Jihoon and Tai, Yu-Wing and Tang, Chi-Keung } ,
  booktitle = { CVPR } ,
  year = { 2020 }
}