合成データセット(ソースドメイン)から実際のデータセット(ターゲットドメイン)にセマンティックセグメンテーションを適応させるための当社の方法のPytorch実装。この実装に基づいて、私たちの結果はVisda Challengeで3位にランクされています。
連絡先:Yi-Hsuan Tsai(Gmail Dot ComのWasidennis)およびWei-chih Hung(whung8 at Ucmerced dot edu)
セマンティックセグメンテーションのために構造化された出力スペースを適応することを学ぶ
yi-hsuan tsai*、wei-chih hung*、Samuel Schulter、Kihyuk Sohn、Ming-Hsuan Yang、Manmohan Chandraker
IEEEコンピュータービジョンとパターン認識に関する会議(CVPR)、2018(スポットライト)(*等しい貢献を示します)。
あなたがあなたの研究に役立つと思うなら、私たちの論文を引用してください。
@inproceedings{Tsai_adaptseg_2018,
author = {Y.-H. Tsai and W.-C. Hung and S. Schulter and K. Sohn and M.-H. Yang and M. Chandraker},
booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
title = {Learning to Adapt Structured Output Space for Semantic Segmentation},
year = {2018}
}


python 2とcuda 8.0を備えたhttp://pytorch.orgからpytorchをインストールする
新しいパフォーマンスを改善するためにLS-GAN目標を追加します
--gan LSオプション(詳細については以下を参照)Python 3およびCuda 8.0を搭載したPytorch 0.4
pytorch_0.4フォルダーのコードに置き換えます--tensorboardを追加することで提供されます--lambda-adv-target1 0.00005 --lambda-adv-target2 0.0005より小さな重みが必要です。この問題をすぐに調査します。このレポをクローンします
git clone https://github.com/wasidennis/AdaptSegNet
cd AdaptSegNet
GTA5データセットをソースドメインとしてダウンロードし、 data/GTA5フォルダーに入れます
Cityscapesデータセットをターゲットドメインとしてダウンロードし、 data/Cityscapesフォルダーに入れます
ここで3つのベンチマーク設定でResNet-101を使用して、私たちの予定されたモデルを見つけてください
それらには、ベースライン(適応がなく、機能適応がない)とモデル(シングルレベルとマルチレベル)が含まれます
LS-GANを使用し、Synscapesをソースドメインとして使用した新しい更新結果
事前に訓練されたマルチレベルのGTA5からシティスケープモデルをダウンロードして、 modelフォルダーに入れます
モデルをテストすると、結果がresultフォルダーに保存されます
python evaluate_cityscapes.py --restore-from ./model/GTA2Cityscapes_multi-ed35151c.pth
python evaluate_cityscapes.py --model DeeplabVGG --restore-from ./model/GTA2Cityscapes_vgg-ac4ac9f6.pth
python compute_iou.py ./data/Cityscapes/data/gtFine/val result/cityscapes
python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single_lsgan
--lambda-seg 0.0
--lambda-adv-target1 0.0 --lambda-adv-target2 0.01
--gan LS
python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_multi
--lambda-seg 0.1
--lambda-adv-target1 0.0002 --lambda-adv-target2 0.001
python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single
--lambda-seg 0.0
--lambda-adv-target1 0.0 --lambda-adv-target2 0.001
このコードは、pytorch-deeplabから大幅に借用されています。
モデルとコードは、非営利の研究目的でのみ利用できます。