Neighborhood Attention Transformer

Трансформеры внимания соседства

Мощные иерархические трансформаторы зрения на основе внимания скольжения окна.

Внимание соседства (NA, местное внимание) было введено в нашей оригинальной статье, NAT и эффективно работает с нашим расширением на Pytorch, Natten.

Недавно мы представили новую модель Dinat, которая расширяет NA, расширяя районы (Dina, Sparsy Global Hite, AKA Dilated Local Hite).

Комбинации NA/DINA способны сохранять местность, поддерживать трансляционную эквивалентность, расширять рецептивное поле в геометрической прогрессии и захватывать более долгожданные взаимозависимости, что приводит к значительному повышению производительности в задачах зрения нижестоящих по течению, таких как Stylenat для генерации изображений.

Новости

25 марта 2023 года

• Трансформатор внимания соседства был принят в CVPR 2023!

18 ноября 2022 года

• Nat и Dinat теперь доступны через Transformers HuggingFace.
  • Модели классификации NAT и DINAT также доступны в модели HuggingFace: NAT | Динат

11 ноября 2022 года

• Новый препринт: Stylenat: дает каждой головой новую перспективу.
  • Gan, основанный на стиле, основан на соседнем внимании, устанавливает New SOTA на FFHQ-256 с 2,05 FID.

8 октября 2022 года

• Natten теперь доступна в качестве пакета PIP!
  • Теперь вы можете установить Natten с предварительно скомпилированными колесами и начать использовать его за считанные секунды.
  • Natten будет поддерживаться и разработана как отдельный проект для поддержки более широкого использования внимания скользящего окна, даже за пределами компьютерного зрения.

29 сентября 2022 года

• Новый препринт: расширенный трансформатор внимания соседства.

Расплавленное внимание соседства

Новый трансформер иерархического видения, основанный на внимании соседства (локальное внимание) и расширенного внимания соседства (редкое глобальное внимание), который обладает значительным повышением производительности в нижестоящих задачах.

Проверьте Dinat Readme.

Трансформер внимания соседства

Наша оригинальная статья, «Трансформер внимания соседства» (NAT), первое эффективное местное внимание скользящего окна.

Как работает внимание соседства

Внимание соседства локализует восприимчивое поле «Восприимчивое поле Query Token» к ближайшим соседним токенам в паре ключевых значений (зеленый). Это эквивалентно внимательному вниманию точечного продукта, когда размер соседства идентичен размерам изображения. Обратите внимание, что края являются специальными (краевыми) случаями.

Цитирование

 @inproceedings { hassani2023neighborhood ,
	title        = { Neighborhood Attention Transformer } ,
	author       = { Ali Hassani and Steven Walton and Jiachen Li and Shen Li and Humphrey Shi } ,
	booktitle    = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) } ,
	month        = { June } ,
	year         = { 2023 } ,
	pages        = { 6185-6194 }
}
@article { hassani2022dilated ,
	title        = { Dilated Neighborhood Attention Transformer } ,
	author       = { Ali Hassani and Humphrey Shi } ,
	year         = 2022 ,
	url          = { https://arxiv.org/abs/2209.15001 } ,
	eprint       = { 2209.15001 } ,
	archiveprefix = { arXiv } ,
	primaryclass = { cs.CV }
}
@article { walton2022stylenat ,
	title        = { StyleNAT: Giving Each Head a New Perspective } ,
	author       = { Steven Walton and Ali Hassani and Xingqian Xu and Zhangyang Wang and Humphrey Shi } ,
	year         = 2022 ,
	url          = { https://arxiv.org/abs/2211.05770 } ,
	eprint       = { 2211.05770 } ,
	archiveprefix = { arXiv } ,
	primaryclass = { cs.CV }
}