CascadePSP

Cascadepsp: Segmentasi kelas-agnostik dan resolusi tinggi melalui penyempurnaan global dan lokal

Ho Kei Cheng*, Jihoon Chung*, Yu-Wing Tai, Chi-Keung Tang

[arxiv] [pdf]

[Informasi Tambahan (Perbandingan dengan Densecrf Termasuk!)]

[Hasil Gambar Tambahan]

Perkenalan

CASCADEPSP adalah model pembelajaran yang mendalam untuk penyempurnaan segmentasi resolusi tinggi. Repositori ini berisi implementasi Pytorch kami dengan fungsi pelatihan dan pengujian. Kami juga menyediakan dataset UHD yang beranotasi besar dan model pretrained.

Berikut adalah beberapa hasil penyempurnaan pada gambar resolusi tinggi.

Awal yang cepat

Diuji pada Pytorch 1.0 - meskipun versi yang lebih tinggi kemungkinan akan bekerja untuk inferensi juga.

Lihat folder ini. Kami telah membangun paket PIP yang dapat memperbaiki gambar input dengan dua baris kode.

Instal dengan

pip install segmentation-refinement

Demo Kode:

 import cv2
import time
import matplotlib . pyplot as plt
import segmentation_refinement as refine
image = cv2 . imread ( 'test/aeroplane.jpg' )
mask = cv2 . imread ( 'test/aeroplane.png' , cv2 . IMREAD_GRAYSCALE )

# model_path can also be specified here
# This step takes some time to load the model
refiner = refine . Refiner ( device = 'cuda:0' ) # device can also be 'cpu'

# Fast - Global step only.
# Smaller L -> Less memory usage; faster in fast mode.
output = refiner . refine ( image , mask , fast = False , L = 900 ) 

# this line to save output
cv2 . imwrite ( 'output.png' , output )

plt . imshow ( output )
plt . show ()

Tinjauan Jaringan

Langkah Global & Langkah Lokal

Langkah Global	Langkah lokal

Modul penyempurnaan

Daftar isi

Berlari:

• Instalasi
• Pelatihan
• Menguji segmentasi semantik
• Menguji adegan parsing

Unduhan:

• Model pretrained
• Dataset Besar dan Relabeled Pascal VOC 2012

Lebih banyak hasil

Menyempurnakan topeng manusia 3.6m

Gambar	Topeng asli	Topeng halus

Baris pertama adalah kasus kegagalan (lihat leher).

Kredit

Implementasi PSPNET: https://github.com/lextal/pspnet-pytorch

Implementasi SYNCBN: https://github.com/vacancy/synchronized-batchnorm-pytorch

Jika Anda menemukan pekerjaan kami berguna dalam penelitian Anda, silakan kutip yang berikut:

 @inproceedings { cheng2020cascadepsp ,
  title = { {CascadePSP}: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement } ,
  author = { Cheng, Ho Kei and Chung, Jihoon and Tai, Yu-Wing and Tang, Chi-Keung } ,
  booktitle = { CVPR } ,
  year = { 2020 }
}