LovaszSoftmax

Lovász-Softmax Loss: A Tractable Pricate لتحسين مقياس التقاطع بين النقابة في الشبكات العصبية

مكسيم بيرمان ، أمل رانين تريكي ، ماثيو ب. بلاستشكو

ESAT-PSI ، كو لوف ، بلجيكا.

تم نشره في CVPR 2018. انظر صفحة المشروع ، ورقة Arxiv ، ورقة على CVF Open Access.

تنفيذ Pytorch لطبقة الخسارة (مجلد Pytorch )

تضمنت الملفات:

• Lovasz_losses.py : تنفيذ Pytorch المستقل لمفصلات Lovász و Lovász-Softmax لمؤشر Jaccard
• demo_binary.ipynb : دفتر جوبتر عرض التدريب الثنائي لنموذج خطي ، مع مفصل Lovász ومع Lovász-Sigmoid.
• demo_multiclass.ipynb : دفتر ملاحظات Jupyter يعرض تدريب متعدد الطرازات لنموذج خطي مع Lovász-Softmax

تتوقع Binary lovasz_hinge درجات ذات قيمة حقيقية (تتوافق الدرجات الإيجابية مع وحدات البكسل المقدمة).

تتوقع lovasz_softmax متعدد الطبقات احتمالات الفصل (من المتوقع أن يكون فئة التسجيل القصوى). استخدم أولاً طبقة Softmax على الدرجات غير الطبيعية.

تنفيذ TensorFlow لطبقة الخسارة (مجلد TensorFlow )

تضمنت الملفات:

• Lovasz_losses_tf.py : تنفيذ TensorFlow المستقل لمفصلات Lovász و Lovász-Softmax لمؤشر Jaccard
• Demo_binary_tf.ipynb : Jupyter Notebook يعرض التدريب الثنائي لنموذج خطي ، مع مفصل Lovász ومع Lovász-Sigmoid.
• demo_multiclass_tf.ipynb : دفتر ملاحظات Jupyter يعرض تطبيق خسارة متعددة الفقرة مع Lovász-Softmax

تحذير: تم اختبار قيم الخسائر والتدرجات لتكون هي نفسها كما في Pytorch (انظر دفاتر الملاحظات) ، ومع ذلك لم نستخدم تطبيق TF في إعداد التدريب.

الاستخدام

انظر العروض التوضيحية للحصول على أدلة بسيطة للمبدأ.

التعليمات

• كيف يمكنني استخدام خسارة Lovász-Softmax؟

يمكن تحسين الخسارة من تلقاء نفسها ، ولكن قد تختلف أجهزة التحكم في التحسين الأمثل (معدلات التعلم ، الزخم) عن أفضل تلك الخاصة بالدخول المتقاطع. كما تمت مناقشته في الورقة ، يعتمد تحسين مجموعة البيانات Miou (مقياس VOC Pascal) على حجم الدُفعة وعدد الفئات. لذلك ، قد يكون لديك أفضل النتائج من خلال التحسين من خلال الدخول المتقاطع أولاً والتعاون مع خسارتنا ، أو عن طريق الجمع بين الخسارة.

انظر على سبيل المثال كيف تصنيف الغطاء الأرضي من صور القمر الصناعي مع خسارة U-NET و Lovasz-Softmax بواسطة Alexander Rakhlin et al. استخدم خسارتنا في CVPR 18 DeepGlobe Challenge.

• الاستدلال في Tensorflow بطيء جدا ...

يجب أن يحل هذه المشكلة من TensorFlow Master من TensorFlow (أو استخدام توزيع مستقبلي يتضمن التزام TensorFlow/TensorFlow@73e3215) ؛ انظر العدد رقم 6.

اقتباس

يرجى الاستشهاد

 @inproceedings{berman2018lovasz,
  title={The Lov{'a}sz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks},
  author={Berman, Maxim and Rannen Triki, Amal and Blaschko, Matthew B},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  pages={4413--4421},
  year={2018}
}