Neighborhood Attention Transformer

鄰里注意變形金剛

強大的層次視覺變壓器基於滑動窗口的關注。

我們的原始論文NAT引入了鄰里注意力（NA，本地關注），並隨著向Natten Pytorch的擴展而有效地運行。

我們最近引入了一種新的模型Dinat，該模型通過擴張社區（Dina，稀疏的全球關注，又稱本地關注）來擴展NA。

NA/DINA的組合能夠保留位置，維持翻譯模棱兩可，呈指數式擴展並捕獲長期相互依賴性，從而在下游視覺任務中顯著提高性能，例如用於圖像生成的Stylenat。

消息

2023年3月25日

• CVPR 2023接受了鄰里注意力變壓器！

2022年11月18日

• 現在可以通過Huggingface的變形金剛獲得NAT和Dinat。
  • NAT和DINAT分類模型也可以在Huggingface的模型中心：NAT | dinat

2022年11月11日

• 新的預印本：stylenat：給每個頭部一個新的視角。
  • 以鄰里注意力為基於樣式的GAN為FFHQ-256上的新SOTA提供了2.05 FID。

2022年10月8日

• Natten現在可以作為PIP包裝！
  • 現在，您可以安裝帶有預編譯輪的Natten，並在幾秒鐘內開始使用它。
  • Natten將作為一個單獨的項目進行維護和開發，以支持更廣泛的滑動窗戶關注，甚至超出計算機視覺。

2022年9月29日

• 新預印本：擴張的鄰里注意力變壓器。

鄰里的關注

基於鄰里注意力（當地註意力）和擴張鄰里注意力（稀疏全球關注）的新的分層視覺變壓器，在下游任務中具有顯著的性能增強。

查看Dinat Readme。

鄰里注意變形金剛

我們的原始論文《鄰里注意力變壓器》（NAT），這是第一個有效的滑動窗口當地關注。

鄰里注意力如何起作用

鄰里的注意力將查詢令牌的（紅色）接收場定位在鑰匙值對（綠色）中最近的附近令牌。當鄰域大小與圖像尺寸相同時，這等同於點產生的自我注意力。請注意，邊緣是特殊的（邊緣）情況。

引用

 @inproceedings { hassani2023neighborhood ,
	title        = { Neighborhood Attention Transformer } ,
	author       = { Ali Hassani and Steven Walton and Jiachen Li and Shen Li and Humphrey Shi } ,
	booktitle    = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) } ,
	month        = { June } ,
	year         = { 2023 } ,
	pages        = { 6185-6194 }
}
@article { hassani2022dilated ,
	title        = { Dilated Neighborhood Attention Transformer } ,
	author       = { Ali Hassani and Humphrey Shi } ,
	year         = 2022 ,
	url          = { https://arxiv.org/abs/2209.15001 } ,
	eprint       = { 2209.15001 } ,
	archiveprefix = { arXiv } ,
	primaryclass = { cs.CV }
}
@article { walton2022stylenat ,
	title        = { StyleNAT: Giving Each Head a New Perspective } ,
	author       = { Steven Walton and Ali Hassani and Xingqian Xu and Zhangyang Wang and Humphrey Shi } ,
	year         = 2022 ,
	url          = { https://arxiv.org/abs/2211.05770 } ,
	eprint       = { 2211.05770 } ,
	archiveprefix = { arXiv } ,
	primaryclass = { cs.CV }
}