LovaszSoftmax

Kehilangan Lovász-Softmax: Pengganti yang dapat ditelusuri untuk optimalisasi ukuran persimpangan-over-union dalam jaringan saraf

Maxim Berman, Amal Rannen Triki, Matthew B. Blaschko

ESAT-PSI, Ku Leuven, Belgia.

Diterbitkan dalam CVPR 2018. Lihat Halaman Proyek, Kertas Arxiv, Kertas tentang CVF Open Access.

Implementasi PyTorch dari Lough Layer (Folder Pytorch )

File termasuk:

• lovasz_losses.py : Implementasi Pytorch mandiri dari Lovász Engsel dan Lovász-Softmax untuk indeks Jaccard
• demo_binary.ipynb : Jupyter notebook menampilkan pelatihan biner dari model linier, dengan engsel Lovász dan dengan Lovász-sigmoid.
• demo_multiclass.ipynb : jupyter notebook menampilkan pelatihan multiclass model linier dengan lovász-softmax

Biner lovasz_hinge mengharapkan skor bernilai nyata (skor positif sesuai dengan piksel latar depan).

Multiclass lovasz_softmax mengharapkan probabilitas kelas (kategori penilaian maksimum diprediksi). Pertama gunakan lapisan Softmax pada skor yang tidak diformalkan.

Implementasi TensorFlow dari Lapisan Kerugian (Folder TensorFlow )

File termasuk:

• lovasz_losses_tf.py : implementasi tensorflow mandiri dari engsel Lovász dan lovász-softmax untuk indeks jaccard
• demo_binary_tf.ipynb : Jupyter notebook menampilkan pelatihan biner dari model linier, dengan engsel Lovász dan dengan Lovász-sigmoid.
• demo_multiclass_tf.ipynb : jupyter notebook menampilkan aplikasi kehilangan multiclass dengan lovász-softmax

PERINGATAN: Nilai kerugian dan gradien telah diuji sama seperti di Pytorch (lihat buku catatan), namun kami belum menggunakan implementasi TF dalam pengaturan pelatihan.

Penggunaan

Lihat demo untuk bukti prinsip sederhana.

FAQ

• Bagaimana saya harus menggunakan kerugian Lovász-Softmax?

Kerugian dapat dioptimalkan dengan sendirinya, tetapi hyperparameter optimasi optimal (tingkat pembelajaran, momentum) mungkin berbeda dari yang terbaik untuk entri-entropi. Seperti dibahas dalam makalah, mengoptimalkan dataset-miou (pengukuran VOC Pascal) tergantung pada ukuran batch dan jumlah kelas. Oleh karena itu, Anda mungkin memiliki hasil terbaik dengan mengoptimalkan dengan entri-entropi terlebih dahulu dan finetuning dengan kerugian kami, atau dengan menggabungkan dua kerugian.

Lihat misalnya bagaimana klasifikasi tutupan lahan kerja dari citra satelit dengan kehilangan U-Net dan Lovasz-Softmax oleh Alexander Rakhlin et al. menggunakan kerugian kami di CVPR 18 Deepglobe Challenge.

• Inferensi di TensorFlow sangat lambat ...

Kompilasi dari TensorFlow Master (atau menggunakan distribusi di masa depan yang mencakup komit TensorFlow/TensorFlow@73E3215) harus menyelesaikan masalah ini; Lihat masalah #6.

Kutipan

Tolong kutip

 @inproceedings{berman2018lovasz,
  title={The Lov{'a}sz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks},
  author={Berman, Maxim and Rannen Triki, Amal and Blaschko, Matthew B},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  pages={4413--4421},
  year={2018}
}