NegPrompt

การดำเนินการอย่างเป็นทางการของ 'การเรียนรู้เชิงลบที่สามารถถ่ายโอนได้สำหรับการตรวจจับนอกการกระจาย'

วิธีการเรียนรู้ที่รวดเร็วที่มีอยู่ได้แสดงให้เห็นถึงความสามารถบางอย่างในการตรวจจับนอกการกระจาย (OOD) แต่การขาดการรับรู้ของภาพ OOD ในชุดข้อมูลเป้าหมายสามารถนำไปสู่การจับคู่ที่ไม่ตรงกันระหว่างภาพ OOD และหมวดหมู่ในการกระจาย (ID) ซึ่งนำไปสู่อัตราบวกที่ผิดพลาดสูง เพื่อแก้ไขปัญหานี้เราแนะนำวิธีการตรวจจับ OOD ใหม่ชื่อ `negprompt 'ซึ่งออกแบบมาเพื่อเรียนรู้ชุดของพรอมต์เชิงลบแต่ละรายการแสดงถึงความหมายเชิงลบของฉลากคลาสที่กำหนดเพื่อกำหนดขอบเขตระหว่าง ID และภาพ OOD มันเรียนรู้การแจ้งเตือนเชิงลบดังกล่าวด้วยข้อมูล ID เท่านั้นกำจัดการพึ่งพาข้อมูลภายนอก นอกจากนี้วิธีการในปัจจุบันจะถือว่าความพร้อมใช้งานของตัวอย่างของคลาส ID ทั้งหมดทำให้พวกเขาไม่ได้ผลในสถานการณ์การเรียนรู้แบบเปิดโล่งซึ่งขั้นตอนการอนุมานสามารถมีคลาส ID ใหม่ที่ไม่มีอยู่ในข้อมูลการฝึกอบรม ในทางตรงกันข้ามพรอมต์เชิงลบที่เรียนรู้ของเราสามารถถ่ายโอนไปยังฉลากคลาสใหม่ การทดลองเกี่ยวกับเกณฑ์มาตรฐานที่ใช้ ImageNet ต่าง ๆ แสดงให้เห็นว่า NegPrompt นั้นมีความเหนือกว่าวิธีการตรวจจับ OOD ที่ได้รับการแจ้งเตือนจากการเรียนรู้ด้วยตนเองและรักษาความเป็นผู้นำที่สอดคล้องกันในการตรวจจับ Hard OOD ในสถานการณ์การจำแนกประเภทปิดและเปิดโล่ง ข้อความเต็มมีอยู่ arxiv

สถาปัตยกรรมโดยรวม

การติดตั้ง

ต้องเตรียมสภาพแวดล้อมสำหรับ negpropmt:

conda create -n NegPrompt python=3.8
conda activate NegPrompt
pip install -r requirements.txt

การเตรียมข้อมูล

ก่อนอื่นให้สร้างไดเรกทอรีใหม่/data เพื่อจัดเก็บชุดข้อมูล

จากนั้นดาวน์โหลดชุดข้อมูลเช่น https://github.com/atsumiyai/locoop ทำ

จัดเรียงไดเรกทอรีข้อมูลเช่นนี้:

 NegPrompt
|-- data/
    |-- ImageNet1k/
	|-- ILSVRC/
		|-- Data/
			|-- CLS-LOC/
				|-- train/
				|-- val/
		｜protocols/
    |-- iNaturalist/
	|--images/
    |-- SUN/
	|--images/
    |-- Places/
	|--images/
    |-- dtd/
	|--images/
    ...

รถไฟและการตรวจสอบ

เพื่อฝึกอบรม negprompt สำหรับการพักฟื้น ood：

conda activate NegPrompt
python ./scripts/train_test_ood.py

เพื่อฝึก NegPrompt สำหรับ Hard Ood:

conda activate NegPrompt
python ./scripts/train_test_openset.py

การอ้างอิง

 @inproceedings { li2024learning ,
  title = { Learning Transferable Negative Prompts for Out-of-Distribution Detection } ,
  author = { Li, Tianqi and Pang, Guansong and Bai, Xiao and Miao, Wenjun and Zheng, Jin } ,
  booktitle = { Proceedings of the IEEE/CVF conference on computer vision and pattern recognition } ,
  year = { 2024 }
}