LovaszSoftmax

La pérdida de Lovász-Softmax: un sustituto manejable para la optimización de la medida de intersección sobre unión en redes neuronales

Maxim Berman, Amal Rannen Triki, Matthew B. Blaschko

Esat-Psi, Ku Louven, Bélgica.

Publicado en CVPR 2018. Ver Página del Proyecto, Arxiv Paper, Paper on CVF Open Access.

Implementación de Pytorch de la capa de pérdida (carpeta Pytorch )

Archivos incluidos:

• lovasz_losses.py : implementación independiente de Pytorch de Lovász Bishing y Lovász-Softmax para el índice Jaccard
• demo_binary.ipynb : el cuaderno Jupyter que muestra el entrenamiento binario de un modelo lineal, con la bisagra Lovász y con el Lovász-Sigmoid.
• demo_multiclass.ipynb : Notebook Jupyter que muestra el entrenamiento multiclase de un modelo lineal con el Lovász-Softmax

El lovasz_hinge binario espera puntajes de valor real (las puntuaciones positivas corresponden a los píxeles de primer plano).

El multiclass lovasz_softmax espera probabilidades de clase (se predice la categoría de puntuación máxima). Primero use una capa Softmax en las puntuaciones no normalizadas.

Implementación de TensorFlow de la capa de pérdida (carpeta TensorFlow )

Archivos incluidos:

• lovasz_losses_tf.py : implementación independiente de tensorflow de la bisagra Lovász y Lovász-Softmax para el índice Jaccard
• Demo_binary_tf.ipynb : Notebook Jupyter que muestra el entrenamiento binario de un modelo lineal, con la bisagra Lovász y con el Lovász-Sigmoid.
• demo_multiclass_tf.ipynb : cuaderno de Jupyter que muestra la aplicación de la pérdida multiclase con el Lovász-Softmax

ADVERTENCIA: Los valores de pérdidas y los gradientes se han probado como los mismos que en Pytorch (ver cuadernos), sin embargo, no hemos utilizado la implementación de TF en un entorno de capacitación.

Uso

Vea las demostraciones para pruebas simples de principio.

Preguntas frecuentes

• ¿Cómo debo usar la pérdida Lovász-Softmax?

La pérdida se puede optimizar por sí sola, pero los hiperparámetros de optimización óptimos (tasas de aprendizaje, impulso) pueden ser diferentes de los mejores para la entropía cruzada. Como se discutió en el documento, la optimización del conjunto de datos-MIO (medida PASCAL VOC) depende del tamaño del lote y el número de clases. Por lo tanto, es posible que tenga los mejores resultados optimizando primero con la entropía cruzada y el sintonización con nuestra pérdida, o combinando las dos pérdidas.

Vea, por ejemplo, cómo la clasificación de la portada de la tierra del trabajo de las imágenes satelitales con la pérdida de U-Net y Lovasz-Softmax por Alexander Rakhlin et al. Usó nuestra pérdida en el CVPR 18 DeepGlobe Challenge.

• La inferencia en TensorFlow es muy lenta ...

La compilación de TensorFlow Master (o el uso de una distribución futura que incluya Commit TensorFlow/TensorFlow@73E3215) debe resolver este problema; Ver número #6.

Citación

Por favor cita

 @inproceedings{berman2018lovasz,
  title={The Lov{'a}sz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks},
  author={Berman, Maxim and Rannen Triki, Amal and Blaschko, Matthew B},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  pages={4413--4421},
  year={2018}
}