LovaszSoftmax

A perda de Lovász-Softmax: um substituto tratável para a otimização da medida de interseção e união em redes neurais

Maxim Berman, Amal Rannen Triki, Matthew B. Blaschko

Esat-Psi, Ku Leuven, Bélgica.

Publicado no CVPR 2018. Consulte a página do projeto, Arxiv Paper, artigo sobre acesso aberto da CVF.

Implementação de Pytorch da camada de perda (pasta Pytorch )

Arquivos incluídos:

• lovasz_losses.py : implementação independente de pytorch do Lovász Hinge e Lovász-Softmax para o índice Jaccard
• Demo_binary.ipynb : Jupyter Notebook mostrando o treinamento binário de um modelo linear, com a dobradiça de Lovász e com o Lovász-sigmóide.
• Demo_multiclass.ipynb : Jupyter Notebook mostrando o treinamento multiclasse de um modelo linear com o Lovász-Softmax

O binário lovasz_hinge espera pontuações com valor real (pontuações positivas correspondem a pixels em primeiro plano).

A multiclasse lovasz_softmax espera probabilidades de classe (a categoria de pontuação máxima está prevista). Primeiro, use uma camada Softmax nas pontuações não formalizadas.

Implementação do TensorFlow da camada de perda (pasta Tensorflow )

Arquivos incluídos:

• Lovasz_losses_tf.py : Implementação independente de tensorflow do Lovász Hinge e Lovász-Softmax para o índice Jaccard
• Demo_binary_tf.ipynb : Jupyter Notebook mostrando o treinamento binário de um modelo linear, com a dobradiça de Lovász e com o Lovász-sigmóide.
• Demo_multiclass_tf.ipynb : Jupyter Notebook mostrando a aplicação da perda multiclasse com o Lovász-Softmax

AVISO: Os valores e gradientes de perdas foram testados como os mesmos do Pytorch (consulte Notebooks), no entanto, não usamos a implementação do TF em um ambiente de treinamento.

Uso

Veja as demos para obter provas simples de princípio.

Perguntas frequentes

• Como devo usar a perda de Lovász-Softmax?

A perda pode ser otimizada por si só, mas os hiperparâmetros ideais de otimização (taxas de aprendizado, momento) podem ser diferentes dos melhores para entropia cruzada. Conforme discutido no artigo, a otimização do conjunto de dados-miou (Medida Pascal VOC) depende do tamanho do lote e do número de classes. Portanto, você pode ter melhores resultados otimizando com a entropia cruzada primeiro e o Finetuning com nossa perda ou combinando as duas perdas.

Veja, por exemplo, como a classificação da cobertura da terra do trabalho a partir de imagens de satélite com U-Net e Lovasz-Softmax por Alexander Rakhlin et al. Usou nossa perda no CVPR 18 Deepglobe Challenge.

• A inferência no tensorflow é muito lenta ...

A compilação do TensorFlow Master (ou usando uma distribuição futura que inclui o Commit Tensorflow/Tensorflow@73E3215) deve resolver esse problema; Veja a edição #6.

Citação

Por favor cite

 @inproceedings{berman2018lovasz,
  title={The Lov{'a}sz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks},
  author={Berman, Maxim and Rannen Triki, Amal and Blaschko, Matthew B},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  pages={4413--4421},
  year={2018}
}