NegPrompt

'배포되지 않은 탐지를위한 학습 양도 가능한 부정적인 프롬프트'의 공식 구현

기존의 신속한 학습 방법은 분포되지 않은 (OOD) 탐지에서 특정 기능을 보여 주었지만, 대상 데이터 세트에서 OOD 이미지에 대한 인식 부족은 OOD 이미지와 Distribution (ID) 범주간에 불일치로 이어질 수있어 높은 오 탐지 속도로 이어질 수 있습니다. 이 문제를 해결하기 위해, 우리는 'Negprompt'라는 소설 OOD 탐지 방법을 소개합니다. 'NegPrompt'라는 소설을 소개합니다.`Andeprompt '라는 소설을 소개합니다.'Negprompt '라는 소설을 소개합니다.이 문제는 각각 ID와 OOD 이미지 사이의 경계를 묘사하기 위해 주어진 클래스 레이블의 부정적인 의미를 나타내는 부정적인 프롬프트 세트를 배우도록 설계되었습니다. ID 데이터만으로도 이러한 부정적인 프롬프트를 배웁니다. 외부 데이터에 대한 의존도를 제거합니다. 또한, 현재의 방법은 모든 ID 클래스의 샘플의 가용성을 가정하여 추론 단계에 교육 데이터에 존재하지 않는 새로운 ID 클래스를 포함 할 수있는 개방-비경 평균 학습 시나리오에서 비효율적입니다. 대조적으로, 우리의 배운 부정적인 프롬프트는 새로운 클래스 레이블로 전송할 수 있습니다. 다양한 ImageNet 기반 벤치 마크에 대한 실험에 따르면 Negrompt는 최첨단 프롬프트 학습 기반 OOD 탐지 방법을 능가하고 폐쇄 및 개방성 분류 시나리오에서 어려운 OOD 탐지에서 일관된 리드를 유지한다는 것을 보여줍니다. 전체 텍스트는 arxiv를 사용할 수 있습니다.

전반적인 아키텍처

설치

NegPropMt 환경을 준비해야합니다.

conda create -n NegPrompt python=3.8
conda activate NegPrompt
pip install -r requirements.txt

데이터 준비

먼저, 데이터 세트를 저장하기 위해 새 디렉토리 ./data를 만드십시오.

그런 다음 https://github.com/atsumiyai/locoop과 같은 데이터 세트를 다운로드하십시오.

다음과 같이 데이터 디렉토리를 정렬하십시오.

 NegPrompt
|-- data/
    |-- ImageNet1k/
	|-- ILSVRC/
		|-- Data/
			|-- CLS-LOC/
				|-- train/
				|-- val/
		｜protocols/
    |-- iNaturalist/
	|--images/
    |-- SUN/
	|--images/
    |-- Places/
	|--images/
    |-- dtd/
	|--images/
    ...

훈련 및 검증

소문에 대한 무도 원수를 훈련시키기 위해 ：

conda activate NegPrompt
python ./scripts/train_test_ood.py

Hard Ood에 대한 무지증을 훈련시키기 위해 :

conda activate NegPrompt
python ./scripts/train_test_openset.py

소환

 @inproceedings { li2024learning ,
  title = { Learning Transferable Negative Prompts for Out-of-Distribution Detection } ,
  author = { Li, Tianqi and Pang, Guansong and Bai, Xiao and Miao, Wenjun and Zheng, Jin } ,
  booktitle = { Proceedings of the IEEE/CVF conference on computer vision and pattern recognition } ,
  year = { 2024 }
}