LovaszSoftmax

Потеря Lovász-Softmax: подлежащий суррогату для оптимизации меры по пересечению-овер на нервные сети

Максим Берман, Амаль Раннен Трики, Мэтью Б. Блашко

Esat-Psi, Ku Leuven, Бельгия.

Опубликовано в CVPR 2018. См. Project Page, Arxiv Paper, Paper On CVF Open Access.

Реализация Pytorch слоя потерь (папка Pytorch )

Файлы включены:

• lovasz_losses.py : отдельная реализация Pytorch Hyge и Lovász-Softmax для индекса Jaccard
• Demo_binary.ipynb : Notebook Jupyter, демонстрирующий бинарную подготовку линейной модели, с шарниром Lovász и с Lovász-Sigmoid.
• Demo_multiclass.ipynb : jupyter notebbook демонстрирует мультиклассную подготовку линейной модели с Lovász-softmax

Бинарный lovasz_hinge ожидает реальных результатов (положительные оценки соответствуют пикселям переднего плана).

Multiclass lovasz_softmax ожидает вероятностей класса (прогнозируется максимальная категория оценки). Сначала используйте слой Softmax на ненормализованных оценках.

Внедрение TensorFlow слоя потерь (папка TensorFlow )

Файлы включены:

• lovasz_losses_tf.py : автономная реализация Tensorflow Hyge и Lovász-Softmax для индекса Jaccard
• Demo_binary_tf.ipynb : Notebook Jupyter, демонстрирующий бинарную подготовку линейной модели, с шарниром Lovász и с Lovász-Sigmoid.
• Demo_multiclass_tf.ipynb : jupyter notebbook, демонстрирующий применение потерь мультикласс с Lovász-softmax

ПРЕДУПРЕЖДЕНИЕ: Значения и градиенты потери были проверены как такие же, как и в Pytorch (см. Записные книжки), однако мы не использовали реализацию TF в учебных настройках.

Использование

Смотрите демо для простых доказательств принципа.

Часто задаваемые вопросы

• Как мне использовать потерю Lovász-Softmax?

Потери могут быть оптимизированы сами по себе, но гиперпараметры оптимальной оптимизации (скорости обучения, импульс) могут отличаться от лучших для перекрестной энтропии. Как обсуждалось в статье, оптимизация набора данных Miou (Pascal Voc мера) зависит от размера партии и количества классов. Поэтому у вас могут быть наилучшие результаты, оптимизируя с перекрестной энтропией, сначала и исправившись с нашей потерей, или путем объединения двух потерь.

Смотрите, например, как классификация работы по уходу за работой из спутниковых снимков с потерей U-Net и Lovasz-Softmax от Александра Раклина и соавт. использовал нашу потерю в вызове CVPR 18 DeepGlobe.

• Вывод в Tensorflow очень медленный ...

Компиляция из Tensorflow Master (или использование будущего распределения, которое включает в себя Commit Tensorflow/Tensorflow@73E3215), должна решить эту проблему; Смотрите выпуск № 6.

Цитирование

Пожалуйста, цитируйте

 @inproceedings{berman2018lovasz,
  title={The Lov{'a}sz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks},
  author={Berman, Maxim and Rannen Triki, Amal and Blaschko, Matthew B},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  pages={4413--4421},
  year={2018}
}