CascadePSP

cascadepsp：グローバルおよびローカル洗練によるクラスに依存して非常に高解像度のセグメンテーションに向けて

Ho Kei Cheng*、Jihoon Chung*、Yu-Wing Tai、Chi-keung Tang

[arxiv] [pdf]

[補足情報（densecrfを含む比較！）]

[補足画像の結果]

導入

cascadepspは、高解像度セグメンテーションの改良のための深い学習モデルです。このリポジトリには、トレーニングとテスト機能の両方を備えたPytorchの実装が含まれています。また、注釈付きのUHDデータセットビッグと前処理されたモデルも提供します。

高解像度の画像のいくつかの改良結果を以下に示します。

クイックスタート

Pytorch 1.0でテストされていますが、より高いバージョンも推論のために機能する可能性があります。

このフォルダーをご覧ください。 2行のコードで入力画像を改良できるPIPパッケージを構築しました。

にインストールします

pip install segmentation-refinement

コードデモ：

 import cv2
import time
import matplotlib . pyplot as plt
import segmentation_refinement as refine
image = cv2 . imread ( 'test/aeroplane.jpg' )
mask = cv2 . imread ( 'test/aeroplane.png' , cv2 . IMREAD_GRAYSCALE )

# model_path can also be specified here
# This step takes some time to load the model
refiner = refine . Refiner ( device = 'cuda:0' ) # device can also be 'cpu'

# Fast - Global step only.
# Smaller L -> Less memory usage; faster in fast mode.
output = refiner . refine ( image , mask , fast = False , L = 900 ) 

# this line to save output
cv2 . imwrite ( 'output.png' , output )

plt . imshow ( output )
plt . show ()

ネットワークの概要

グローバルステップとローカルステップ

グローバルステップ	ローカルステップ

洗練モジュール

目次

ランニング：

• インストール
• トレーニング
• セマンティックセグメンテーションのテスト
• シーンの解析でのテスト

ダウンロード：

• 前処理されたモデル
• Big DatasetとRelabled Pascal Voc 2012

より多くの結果

3.6mのマスクを精製します

画像	オリジナルマスク	洗練されたマスク

最初の行は障害ケースです（首を参照）。

クレジット

PSPNET実装：https：//github.com/lextal/pspnet-pytorch

syncbn実装：https：//github.com/vacancy/synchronized-batchnorm-pytorch

私たちの研究があなたの研究で役立つと思うなら、以下を引用してください。

 @inproceedings { cheng2020cascadepsp ,
  title = { {CascadePSP}: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement } ,
  author = { Cheng, Ho Kei and Chung, Jihoon and Tai, Yu-Wing and Tang, Chi-Keung } ,
  booktitle = { CVPR } ,
  year = { 2020 }
}