LovaszSoftmax

La perte de Lovász-SoftMax: un substitut traitable pour l'optimisation de la mesure d'intersection sur les réseaux de neurones dans les réseaux de neurones

Maxim Berman, Amal Rannen Triki, Matthew B. Blaschko

ESAT-PSI, KU LEUVEN, Belgique.

Publié dans CVPR 2018. Voir la page du projet, Arxiv Paper, Paper on CVF Open Access.

Pytorch Implémentation de la couche de perte (dossier Pytorch )

Fichiers inclus:

• Lovasz_losses.py : Implémentation de Pytorch autonome de la charnière Lovász et Lovász-Softmax pour l'indice Jaccard
• Demo_binary.ipynb : cahier Jupyter présentant une formation binaire d'un modèle linéaire, avec la charnière Lovász et avec le Lovász-sigmoïde.
• Demo_Multiclass.ipynb : cahier Jupyter présentant la formation multicalme

Le Binary lovasz_hinge s'attend à des scores à valeur réelle (les scores positifs correspondent aux pixels de premier plan).

Le multi-classes lovasz_softmax attend des probabilités de classe (la catégorie de notation maximale est prévue). Utilisez d'abord une couche Softmax sur les scores non normalisés.

Implémentation TensorFlow de la couche de perte (dossier TensorFlow )

Fichiers inclus:

• Lovasz_losses_tf.py : Implémentation autonome de Tensorflow de la charnière Lovász et Lovász-Softmax pour l'index Jaccard
• Demo_binary_tf.ipynb : cahier Jupyter présentant une formation binaire d'un modèle linéaire, avec la charnière Lovász et avec le Lovász-sigmoïde.
• Demo_Multiclass_tf.ipynb : cahier Jupyter présentant l'application de la perte multiclasse avec le Lovász-Softmax

AVERTISSEMENT: Les valeurs et les gradients des pertes ont été testés comme étant les mêmes que dans Pytorch (voir cahiers), mais nous n'avons pas utilisé l'implémentation TF dans un cadre de formation.

Usage

Voir les démos pour des preuves simples de principe.

FAQ

• Comment dois-je utiliser la perte de Lovász-Softmax?

La perte peut être optimisée à elle seule, mais les hyperparamètres d'optimisation optimale (taux d'apprentissage, élan) peuvent être différents des meilleurs pour l'entropie croisée. Comme discuté dans l'article, l'optimisation de l'ensemble de données-miou (Pascal VOC mesure) dépend de la taille du lot et du nombre de classes. Par conséquent, vous pourriez avoir les meilleurs résultats en optimisant avec une entropie croisée en premier et en vous fêlant avec notre perte, ou en combinant les deux pertes.

Voir par exemple comment le travail Land Cover Classification de l'imagerie satellite avec U-Net et Lovasz-Softmax Loss par Alexander Rakhlin et al. Utilisé notre perte dans le défi Deepglobe CVPR 18.

• L'inférence dans Tensorflow est très lente ...

La compilation à partir de TensorFlow Master (ou en utilisant une future distribution qui inclut commet TensorFlow / Tensorflow @ 73E3215) devrait résoudre ce problème; Voir le numéro # 6.

Citation

Veuillez citer

 @inproceedings{berman2018lovasz,
  title={The Lov{'a}sz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks},
  author={Berman, Maxim and Rannen Triki, Amal and Blaschko, Matthew B},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  pages={4413--4421},
  year={2018}
}