AdaptSegNet

Aprender a adaptar el espacio de salida estructurado para la segmentación semántica

Implementación de Pytorch de nuestro método para adaptar la segmentación semántica del conjunto de datos sintético (dominio de origen) al conjunto de datos real (dominio objetivo). Según esta implementación, nuestro resultado ocupa el tercer lugar en el desafío VISDA.

Contacto: Yi-Hsuan Tsai (Wasidennis en Gmail Dot com) y Wei-Chih Hung (Whung8 en ucmerced Dot edu)

Papel

Aprender a adaptar el espacio de salida estructurado para la segmentación semántica
Yi-hsuan tsai*, wei-chih hung*, Samuel Schulter, Kihyuk Sohn, Ming-Hsuan Yang y Manmohan Chandraker
Conferencia IEEE sobre visión por computadora y reconocimiento de patrones (CVPR), 2018 ( Spotlight ) (* indica una contribución igual).

Cite nuestro documento si lo encuentra útil para su investigación.

 @inproceedings{Tsai_adaptseg_2018,
  author = {Y.-H. Tsai and W.-C. Hung and S. Schulter and K. Sohn and M.-H. Yang and M. Chandraker},
  booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  title = {Learning to Adapt Structured Output Space for Semantic Segmentation},
  year = {2018}
}

Resultados de ejemplo

Reuslts cuantitativos

Instalación

• Instale Pytorch desde http://pytorch.org con Python 2 y Cuda 8.0

• Nuevo Agregar el objetivo de LS-Gan para mejorar el rendimiento

  • Uso: ADD --gan LS Opción durante la capacitación (consulte a continuación para obtener más detalles)

• Pytorch 0.4 con Python 3 y Cuda 8.0

  • Uso: reemplace los códigos de capacitación y evaluación con los de la carpeta pytorch_0.4
  • ACTUALIZACIÓN: TensorBoard se proporciona agregando --tensorboard en el comando
  • Nota: El modelo de nivel único funciona como se esperaba, mientras que el modelo de nivel múltiple requiere pesos más pequeños, por ejemplo, --lambda-adv-target1 0.00005 --lambda-adv-target2 0.0005 . Investigaremos este problema pronto.

• Clon este repositorio

 git clone https://github.com/wasidennis/AdaptSegNet
cd AdaptSegNet

Conjunto de datos

• Descargue el conjunto de datos GTA5 como dominio de origen y póngalo en la carpeta data/GTA5

• Descargue el conjunto de datos Cityscapes como el dominio de destino y póngalo en la carpeta de data/Cityscapes

Modelos previamente capacitados

• Encuentre nuestros modelos pretratidos utilizando resnet-101 en tres configuraciones de referencia aquí

• Incluyen líneas de base (sin adaptación y con adaptación de características) y nuestros modelos (de un solo nivel y multinivel)

Pruebas

• Nuevos resultados de actualización utilizando LS-Gan y usando Synscapes como dominio de origen

  • Rendimiento: verifique el apéndice del documento ARXIV actualizado (actualizado el 17/10/2019)
  • Modelos previamente capacitados

• Descargue el modelo de GTA5 a Cityscapes de varios niveles previamente capacitado y colóquelo en la carpeta model

• Prueba el modelo y los resultados se guardarán en la carpeta result

 python evaluate_cityscapes.py --restore-from ./model/GTA2Cityscapes_multi-ed35151c.pth

• O, pruebe el enlace modelo de modelo basado en VGG-16

 python evaluate_cityscapes.py --model DeeplabVGG --restore-from ./model/GTA2Cityscapes_vgg-ac4ac9f6.pth

• Calcule el IOU en los paisajes urbanos (gracias al código de Visda Challenge)

 python compute_iou.py ./data/Cityscapes/data/gtFine/val result/cityscapes

Ejemplos de capacitación

• Nuevo tren el modelo GTA5 a Cityscapes (nivel único con LS-Gan)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single_lsgan 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.01 
                                     --gan LS

• Entrena el modelo GTA5 a Cityscapes (multinivel)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_multi 
                                     --lambda-seg 0.1 
                                     --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001

• Entrena el modelo GTA5 a Cityscapes (nivel único)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.001

Implementación y conjunto de datos relacionados

• Y.-H. Tsai, K. Sohn, S. Schulter y M. Chandraker. Adaptación del dominio para la salida estructurada a través de representaciones de parche discriminatorios. En ICCV, 2019. (oral) [documento] [proyecto] [Guía de implementación]
• WC. Hung, Y.-H Tsai, Y.-T. Liou, Y.-Y. Lin y M.-H. Yang. Aprendizaje adversario para la segmentación semántica semi-supervisada. En BMVC, 2018. [Documento] [Código]
• Y.-H. Chen, W.-Y. Chen, Y.-T. Chen, B.-C. Tsai, Y.-C. Frank Wang y M. Sun. No más discriminación: adaptación a la ciudad de la ciudad de los segmentos de escena de la carretera. En ICCV 2017. [Documento] [Proyecto]

Reconocimiento

Este código está muy prestado de Pytorch-Deeplab.

Nota

El modelo y el código están disponibles solo para fines de investigación no comerciales.

• 10/2019: Actualizar códigos de rendimiento y capacitación/evaluación para usar LS-Gan y Synscapes (especialmente gracias a Yan-Ting Liu por ayudar a los experimentos)
• 01/2019: Upate el código de entrenamiento para Pytorch 0.4
• 23/07/2018: Actualizar código de evaluación para Pytorch 0.4
• 06/04/2018: actualizar el modelo VGG-16 previamente
• 02/2018: Código liberado