AdaptSegNet

Обучение адаптации структурированного выходного пространства для семантической сегментации

Реализация Pytorch нашего метода адаптации семантической сегментации от синтетического набора данных (источник домена) к реальному набору данных (целевой домен). Основываясь на этой реализации, наш результат занимает 3 -е место в Challenge Visda.

Контакт: Yi-hsuan tsai (wasidennis at gmail dot com) и Вэй-Чих (whung8 в Ucmerced dot edu)

Бумага

Обучение адаптации структурированного выходного пространства для семантической сегментации
Yi-hsuan tsai*, wei-chih Hung*, Samuel Schulter, Kihyuk Sohn, Ming-Hsuan Yang и Manmohan Chandraker
Конференция IEEE по компьютерному видению и распознаванию шаблонов (CVPR), 2018 ( Spotlight ) (* указывает на равный вклад).

Пожалуйста, процитируйте нашу статью, если вы найдете ее полезным для исследования.

 @inproceedings{Tsai_adaptseg_2018,
  author = {Y.-H. Tsai and W.-C. Hung and S. Schulter and K. Sohn and M.-H. Yang and M. Chandraker},
  booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  title = {Learning to Adapt Structured Output Space for Semantic Segmentation},
  year = {2018}
}

Пример результатов

Количественные рестораны

Установка

• Установите Pytorch с http://pytorch.org с Python 2 и Cuda 8.0

• Новое добавить цель LS-Gan для повышения производительности

  • Использование: добавить -вариант --gan LS во время обучения (более подробная информация см. Ниже).

• Pytorch 0,4 с Python 3 и Cuda 8.0

  • Использование: замените коды обучения и оценки на кожи в папке pytorch_0.4
  • Обновление: Tensorboard предоставляется путем добавления --tensorboard в команде
  • ПРИМЕЧАНИЕ. Модель с одним уровнем работает, как и ожидалось, в то время как многоуровневая модель требует меньших весов, например, --lambda-adv-target1 0.00005 --lambda-adv-target2 0.0005 . Мы скоро рассмотрим эту проблему.

• Клонировать это репо

 git clone https://github.com/wasidennis/AdaptSegNet
cd AdaptSegNet

Набор данных

• Загрузите набор данных GTA5 в качестве домена источника и поместите его в папку data/GTA5

• Загрузите набор данных CityScapes в качестве целевого домена и поместите его в папку data/Cityscapes

Предварительно обученные модели

• Пожалуйста, найдите наши представленные модели, используя RESNET-101 на трех настройках эталона здесь

• Они включают базовые показатели (без адаптации и с адаптацией функций) и наши модели (одноуровневый и многоуровневый)

Тестирование

• Результаты новых обновлений с использованием LS-Gan и использования SynScapes в качестве домена исходного

  • Производительность: Проверьте приложение обновленной статьи ARXIV (обновлено 17.10.2019)
  • Предварительно обученные модели

• Загрузите предварительно обученную многоуровневую модель GTA5-to-CityScapes и поместите ее в model папку

• Проверьте модель, и результаты будут сохранены в папке result

 python evaluate_cityscapes.py --restore-from ./model/GTA2Cityscapes_multi-ed35151c.pth

• Или протестируйте ссылку на модель модели на основе VGG-16

 python evaluate_cityscapes.py --model DeeplabVGG --restore-from ./model/GTA2Cityscapes_vgg-ac4ac9f6.pth

• Вычислите IOU на CityScapes (благодаря коду от Visda Challenge)

 python compute_iou.py ./data/Cityscapes/data/gtFine/val result/cityscapes

Примеры обучения

• Новый поезд модель GTA5-to-CityScapes (одноуровневое с LS-Gan)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single_lsgan 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.01 
                                     --gan LS

• Обучить модель GTA5-to-cityScapes (многоуровневое)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_multi 
                                     --lambda-seg 0.1 
                                     --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001

• Обучить модель GTA5-to-cityScapes (одноуровневое)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.001

Связанная реализация и набор данных

• Y.-H. Цай, К. Сон, С. Шультер и М. Чандракер. Адаптация домена для структурированного вывода посредством дискриминационных представлений патчей. В ICCV, 2019. (Oral) [Paper] [Project] [Руководство по реализации]
• ТУАЛЕТ. Hung, Y.-H Tsai, Y.-T. Liou, Y.-Y. Лин и М.-Х. Ян Совместное обучение для полупроницаемой семантической сегментации. В BMVC, 2018. [Paper] [Код]
• Y.-H. Чен, W.-Y. Чен, Y.-T. Чен, Б.-С. Цай, Y.-C. Фрэнк Ван и М. Сан. Больше нет дискриминации: адаптация Cross City сегментов дорожного сцены. В ICCV 2017. [Paper] [Project]

Подтверждение

Этот код сильно заимствован из Pytorch-Dieplab.

Примечание

Модель и код доступны только для некоммерческих исследований.

• 10/2019: обновление производительности и коды обучения/оценки для использования LS-Gan и Synscapes (особенно благодаря Yan-Tyting Liu за помощь в экспериментах)
• 01/2019: Upate Training Code для Pytorch 0.4
• 23.07.2018: Код оценки обновления для Pytorch 0.4
• 06/04/2018: Обновление модели VGG-16
• 02/2018: выпущен код