NegPrompt

Официальная реализация «Передаваемых негативных подсказок обучения для обнаружения на распределении»

Существующие методы быстрого обучения продемонстрировали определенные возможности в обнаружении между распределением (OOD), но их отсутствие восприятия изображений OOD в целевом наборе данных может привести к несоответствиям между изображениями OOD и категориями в распределении (ID), что приведет к высокой ложноположительной скорости. Чтобы решить эту проблему, мы вводим новый метод обнаружения OOD с именем «Negprompt», который предназначен для изучения набора негативных подсказок, каждый из которых представляет негативную коннотацию данной классной метки, для определения границ между изображениями ID и OOD. Он изучает такие негативные подсказки только с данными идентификатора, устраняя свою зависимость от внешних данных. Кроме того, текущие методы предполагают наличие образцов всех классов идентификаторов, что делает их неэффективными в сценариях обучения с открытым вокабуляром, где этап вывода может содержать новые классы идентификации, не присутствующие в учебных данных. Напротив, наши ученые негативные подсказки переносятся на новые классовые этикетки. Эксперименты по различным показателям на основе ImageNet демонстрируют, что Negprompt превосходит современные методы обнаружения OOD на основе быстрого обучения и поддерживает последовательный лидерство в сценариях классификации с замкнутым и открытым вокабуляцией. Полный текст доступен Arxiv.

Общая архитектура

Установка

Среда для Negpropmt должна быть подготовлена:

conda create -n NegPrompt python=3.8
conda activate NegPrompt
pip install -r requirements.txt

Подготовка данных

Во -первых, сделайте новый каталог ./data для хранения набора данных.

Затем загрузите набор данных, такой как https://github.com/atsumiyai/locoop Do.

Расположите каталог данных так:

 NegPrompt
|-- data/
    |-- ImageNet1k/
	|-- ILSVRC/
		|-- Data/
			|-- CLS-LOC/
				|-- train/
				|-- val/
		｜protocols/
    |-- iNaturalist/
	|--images/
    |-- SUN/
	|--images/
    |-- Places/
	|--images/
    |-- dtd/
	|--images/
    ...

Поезд и проверка

Обучать нега

conda activate NegPrompt
python ./scripts/train_test_ood.py

Чтобы тренировать Negprompt для жесткого ood:

conda activate NegPrompt
python ./scripts/train_test_openset.py

Цитирование

 @inproceedings { li2024learning ,
  title = { Learning Transferable Negative Prompts for Out-of-Distribution Detection } ,
  author = { Li, Tianqi and Pang, Guansong and Bai, Xiao and Miao, Wenjun and Zheng, Jin } ,
  booktitle = { Proceedings of the IEEE/CVF conference on computer vision and pattern recognition } ,
  year = { 2024 }
}