AdaptSegNet

Belajar mengadaptasi ruang output terstruktur untuk segmentasi semantik

Implementasi PyTorch dari metode kami untuk mengadaptasi segmentasi semantik dari dataset sintetis (domain sumber) ke dataset nyata (domain target). Berdasarkan implementasi ini, hasil kami berada di peringkat ke -3 dalam tantangan VISDA.

Hubungi: Yi-Hsuan Tsai (Wasidennis di Gmail Dot Com) dan Wei-Chih Hung (whung8 di ucmerced dot edu)

Kertas

Belajar mengadaptasi ruang output terstruktur untuk segmentasi semantik
Yi-Hsuan Tsai*, Wei-Chih Hung*, Samuel Schulter, Kihyuk Sohn, Ming-Hsuan Yang dan Manmohan Chandraker
Konferensi IEEE tentang Visi Komputer dan Pengenalan Pola (CVPR), 2018 ( Spotlight ) (* menunjukkan kontribusi yang sama).

Harap kutip makalah kami jika Anda merasa berguna untuk penelitian Anda.

 @inproceedings{Tsai_adaptseg_2018,
  author = {Y.-H. Tsai and W.-C. Hung and S. Schulter and K. Sohn and M.-H. Yang and M. Chandraker},
  booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  title = {Learning to Adapt Structured Output Space for Semantic Segmentation},
  year = {2018}
}

Contoh hasil

Reuslts kuantitatif

Instalasi

• Instal Pytorch dari http://pytorch.org dengan Python 2 dan Cuda 8.0

• Baru tambahkan tujuan LS-GAN untuk meningkatkan kinerja

  • Penggunaan: Tambah -Opsi --gan LS selama pelatihan (lihat di bawah untuk detail lebih lanjut)

• Pytorch 0,4 dengan Python 3 dan Cuda 8.0

  • Penggunaan: Ganti kode pelatihan dan evaluasi dengan yang ada di folder pytorch_0.4
  • UPDATE: Tensorboard disediakan dengan menambahkan --tensorboard dalam perintah
  • Catatan: Model tingkat tunggal berfungsi seperti yang diharapkan, sedangkan model multi-level membutuhkan bobot yang lebih kecil, misalnya- --lambda-adv-target1 0.00005 --lambda-adv-target2 0.0005 . Kami akan segera menyelidiki masalah ini.

• Klone repo ini

 git clone https://github.com/wasidennis/AdaptSegNet
cd AdaptSegNet

Dataset

• Unduh dataset GTA5 sebagai domain sumber, dan masukkan ke dalam folder data/GTA5

• Unduh dataset CityScapes sebagai domain target, dan masukkan ke dalam folder data/Cityscapes

Model pra-terlatih

• Silakan temukan model kami yang sudah diisi menggunakan ResNet-101 pada tiga pengaturan benchmark di sini

• Mereka termasuk baselines (tanpa adaptasi dan dengan adaptasi fitur) dan model kami (tingkat tunggal dan multi-level)

Pengujian

• Hasil Pembaruan Baru Menggunakan LS-Gan dan Menggunakan Sinscapes Sebagai Domain Sumber

  • Kinerja: Periksa lampiran kertas arxiv yang diperbarui (diperbarui pada 10/17/2019)
  • Model pra-terlatih

• Unduh model GTA5-ke-CityScapes multi-level pra-terlatih dan masukkan ke dalam folder model

• Uji model dan hasilnya akan disimpan di folder result

 python evaluate_cityscapes.py --restore-from ./model/GTA2Cityscapes_multi-ed35151c.pth

• Atau, uji tautan model model berbasis VGG-16

 python evaluate_cityscapes.py --model DeeplabVGG --restore-from ./model/GTA2Cityscapes_vgg-ac4ac9f6.pth

• Hitung IOU di Cityscapes (terima kasih kepada kode dari Visda Challenge)

 python compute_iou.py ./data/Cityscapes/data/gtFine/val result/cityscapes

Contoh pelatihan

• Kereta baru model GTA5-ke-CityScapes (level tunggal dengan LS-GAN)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single_lsgan 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.01 
                                     --gan LS

• Latih model GTA5-ke-CityScapes (multi-level)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_multi 
                                     --lambda-seg 0.1 
                                     --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001

• Latih model GTA5-ke-CityScapes (level tunggal)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.001

Implementasi dan dataset terkait

• Y.-H. Tsai, K. Sohn, S. Schulter, dan M. Chandraker. Adaptasi domain untuk output terstruktur melalui representasi patch diskriminatif. Dalam ICCV, 2019. (Oral) [Makalah] [Proyek] [Panduan Implementasi]
• W.-C. Hung, Y.-H Tsai, Y.-T. Liou, Y.-Y. Lin, dan M.-H. Yang. Pembelajaran permusuhan untuk segmentasi semantik semi-diawasi. Dalam BMVC, 2018. [Kertas] [Kode]
• Y.-H. Chen, W.-Y. Chen, Y.-T. Chen, B.-C. Tsai, Y.-C. Frank Wang, dan M. Sun. Tidak ada lagi diskriminasi: adaptasi lintas kota dari segmen adegan jalan. Dalam ICCV 2017. [Kertas] [Proyek]

Pengakuan

Kode ini banyak dipinjam dari Pytorch-deeplab.

Catatan

Model dan kode hanya tersedia untuk tujuan penelitian non-komersial saja.

• 10/2019: Perbarui Kinerja dan Kode Pelatihan/Evaluasi untuk Menggunakan LS-GAN dan SYNSCAPES (terutama berkat Yan-Ting Liu untuk membantu eksperimen)
• 01/2019: UPate kode pelatihan untuk pytorch 0.4
• 07/23/2018: Perbarui kode evaluasi untuk pytorch 0.4
• 06/04/2018: Perbarui model VGG-16 pretrained
• 02/2018: Kode dirilis