AdaptSegNet

Aprendendo a adaptar o espaço de saída estruturado para segmentação semântica

Implementação de Pytorch de nosso método para adaptar a segmentação semântica do conjunto de dados sintéticos (domínio de origem) ao conjunto de dados real (domínio de destino). Com base nessa implementação, nosso resultado é classificado em 3º lugar no Visda Challenge.

Contato: Yi-Hsuan Tsai (Wasidennis no Gmail Dot Com) e Wei-Chih Hung (Whung8 no Ucmerced Dot Edu)

Papel

Aprendendo a adaptar o espaço de saída estruturado para segmentação semântica
Yi-Hsuan Tsai*, Wei-chih Hung*, Samuel Schulter, Kihyuk Sohn, Ming-Hsuan Yang e Manmohan Chandraker
Conferência do IEEE sobre visão computacional e reconhecimento de padrões (CVPR), 2018 ( Spotlight ) (* indica contribuição igual).

Cite nosso artigo se achar útil para sua pesquisa.

 @inproceedings{Tsai_adaptseg_2018,
  author = {Y.-H. Tsai and W.-C. Hung and S. Schulter and K. Sohn and M.-H. Yang and M. Chandraker},
  booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  title = {Learning to Adapt Structured Output Space for Semantic Segmentation},
  year = {2018}
}

Exemplo de resultados

Reuslts quantitativos

Instalação

• Instale o Pytorch em http://pytorch.org com Python 2 e Cuda 8.0

• Novo Adicione o objetivo do LS-Gan para melhorar o desempenho

  • Uso: Adicionar -Opção --gan LS durante o treinamento (veja abaixo para obter mais detalhes)

• Pytorch 0.4 com Python 3 e Cuda 8.0

  • Uso: Substitua os códigos de treinamento e avaliação por aqueles na pasta pytorch_0.4
  • ATUALIZAÇÃO: O Tensorboard é fornecido adicionando --tensorboard no comando
  • NOTA: O modelo de nível único funciona como esperado, enquanto o modelo de vários níveis requer pesos menores, por exemplo, --lambda-adv-target1 0.00005 --lambda-adv-target2 0.0005 . Investigaremos esse problema em breve.

• Clone este repo

 git clone https://github.com/wasidennis/AdaptSegNet
cd AdaptSegNet

Conjunto de dados

• Faça o download do conjunto de dados GTA5 como domínio de origem e coloque -o na pasta data/GTA5

• Faça o download do conjunto de dados da Cityscapes como domínio de destino e coloque -o na pasta data/Cityscapes

Modelos pré-treinados

• Encontre nossos modelos pretados usando o ResNet-101 em três configurações de referência aqui

• Eles incluem linhas de base (sem adaptação e com adaptação de recursos) e nossos modelos (de nível único e de vários níveis)

Teste

• Novos resultados de atualização usando LS-GAN e usando synancapes como domínio de origem

  • Desempenho: Verifique o apêndice do artigo ARXIV atualizado (atualizado em 17/10/2019)
  • Modelos pré-treinados

• Faça o download do modelo pré-treinado GTA5-to-Cityscapes e coloque-o na pasta model

• Teste o modelo e os resultados serão salvos na pasta result

 python evaluate_cityscapes.py --restore-from ./model/GTA2Cityscapes_multi-ed35151c.pth

• Ou teste o link do modelo baseado em VGG-16

 python evaluate_cityscapes.py --model DeeplabVGG --restore-from ./model/GTA2Cityscapes_vgg-ac4ac9f6.pth

• Calcule o IOU em paisagens da cidade (graças ao código do Visda Challenge)

 python compute_iou.py ./data/Cityscapes/data/gtFine/val result/cityscapes

Exemplos de treinamento

• NOVO TREM O MODELO GTA5-TO-CITYSCAPES (Nível único com LS-GAN)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single_lsgan 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.01 
                                     --gan LS

• Treine o modelo GTA5-to-Cityscapes (multinível)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_multi 
                                     --lambda-seg 0.1 
                                     --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001

• Treine o modelo GTA5-to-Cityscapes (de nível único)

 python train_gta2cityscapes_multi.py --snapshot-dir ./snapshots/GTA2Cityscapes_single 
                                     --lambda-seg 0.0 
                                     --lambda-adv-target1 0.0 --lambda-adv-target2 0.001

Implementação e conjunto de dados relacionados

• Y.-H. Tsai, K. Sohn, S. Schulter e M. Chandraker. Adaptação de domínio para saída estruturada por meio de representações discriminativas de patches. Na ICCV, 2019. (Oral) [Paper] [Project] [Orientação de implementação]
• BANHEIRO. Hung, Y.-H Tsai, Y.-T. Liou, Y.-Y. Lin e M.-H. Yang. Aprendizagem adversária para segmentação semântica semi-supervisionada. No BMVC, 2018. [Paper] [Código]
• Y.-H. Chen, W.-Y. Chen, Y.-T. Chen, B.-C. Tsai, Y.-C. Frank Wang e M. Sun. Não há mais discriminação: adaptação cruzada da cidade dos segmentadores de cenas da estrada. No ICCV 2017. [Paper] [Projeto]

Reconhecimento

Este código é fortemente emprestado da Pytorch-Deeplab.

Observação

O modelo e o código estão disponíveis apenas para fins de pesquisa não comerciais.

• 10/2019: Atualizar códigos de desempenho e treinamento/avaliação para o uso de LS-Gan e Synancapes (especialmente graças a Yan-Ting Liu por ajudar experimentos)
• 01/2019: Upate o código de treinamento para Pytorch 0.4
• 23/07/2018: Atualizar código de avaliação para Pytorch 0.4
• 06/04/2018: Atualizar modelo VGG-16 pré-terenciado
• 02/2018: Código liberado