NegPrompt

Implementasi resmi 'pembelajaran permintaan negatif yang dapat ditransfer untuk deteksi di luar distribusi'

Metode pembelajaran cepat yang ada telah menunjukkan kemampuan tertentu dalam deteksi out-of-distribution (OOD), tetapi kurangnya persepsi tentang gambar OOD dalam dataset target dapat menyebabkan ketidakcocokan antara gambar OOD dan kategori dalam distribusi (ID), yang mengarah pada tingkat positif palsu yang tinggi. Untuk mengatasi masalah ini, kami memperkenalkan metode deteksi OOD baru, bernama `Negrompt ', yang dirancang untuk mempelajari satu set petunjuk negatif, masing -masing mewakili konotasi negatif dari label kelas yang diberikan, untuk menggambarkan batas antara gambar ID dan OOD. Ini mempelajari dorongan negatif seperti itu hanya dengan data ID, menghilangkan ketergantungannya pada data eksternal. Lebih lanjut, metode saat ini mengasumsikan ketersediaan sampel dari semua kelas ID, menjadikannya tidak efektif dalam skenario pembelajaran vokabulary terbuka di mana tahap inferensi dapat berisi kelas ID baru yang tidak ada dalam data pelatihan. Sebaliknya, petunjuk negatif kami yang dipelajari dapat ditransfer ke label kelas baru. Eksperimen pada berbagai tolok ukur berbasis Imagenet menunjukkan bahwa NEGPROMPT melampaui metode deteksi OOD berbasis pembelajaran yang canggih dan mempertahankan timbal yang konsisten dalam deteksi OOD yang keras dalam skenario klasifikasi vokabulary tertutup dan terbuka. Teks lengkap tersedia ar arxiv.

Arsitektur keseluruhan

Instalasi

Lingkungan untuk Negropmt perlu dipersiapkan:

conda create -n NegPrompt python=3.8
conda activate NegPrompt
pip install -r requirements.txt

Persiapan data

Pertama, buat direktori baru ./data untuk menyimpan dataset.

Kemudian unduh dataset seperti https://github.com/atsumiyai/locoop melakukannya.

Atur direktori data seperti ini:

 NegPrompt
|-- data/
    |-- ImageNet1k/
	|-- ILSVRC/
		|-- Data/
			|-- CLS-LOC/
				|-- train/
				|-- val/
		｜protocols/
    |-- iNaturalist/
	|--images/
    |-- SUN/
	|--images/
    |-- Places/
	|--images/
    |-- dtd/
	|--images/
    ...

Kereta dan validasi

Untuk melatih negrompt untuk konvetional ：

conda activate NegPrompt
python ./scripts/train_test_ood.py

Untuk melatih negrompt untuk ood yang sulit:

conda activate NegPrompt
python ./scripts/train_test_openset.py

Kutipan

 @inproceedings { li2024learning ,
  title = { Learning Transferable Negative Prompts for Out-of-Distribution Detection } ,
  author = { Li, Tianqi and Pang, Guansong and Bai, Xiao and Miao, Wenjun and Zheng, Jin } ,
  booktitle = { Proceedings of the IEEE/CVF conference on computer vision and pattern recognition } ,
  year = { 2024 }
}