Neighborhood Attention Transformer

محولات انتباه الحي

محولات الرؤية الهرمية القوية على أساس انزلاق النافذة.

تم إدخال اهتمام الحي (NA ، الاهتمام المحلي) في ورقتنا الأصلية ، NAT ، ويعمل بكفاءة مع امتدادنا إلى Pytorch ، ناتن.

قدمنا مؤخرًا نموذجًا جديدًا ، Dinat ، الذي يمتد NA عن طريق تمديد الأحياء (Dina ، الاهتمام العالمي المتفرق ، ويعرف أيضًا باسم الاهتمام المحلي المتوسع).

مجموعات من NA/DINA قادرة على الحفاظ على الموقع المحلي ، والحفاظ على ما يعادله في مجال الترجمة ، وتوسيع مجال الاستقبال بشكل كبير ، والتقاط عمليات تعتمد على المدى طويل المدى ، مما يؤدي إلى تعزيزات كبيرة في الأداء في مهام الرؤية المصب ، مثل الأسلوب لتوليد الصور.

أخبار

25 مارس 2023

• تم قبول محول انتباه الحي إلى CVPR 2023!

18 نوفمبر 2022

• Nat و Dinat متاحان الآن من خلال محولات Huggingface.
  • نماذج تصنيف NAT و DINAT متوفرة أيضًا على محور طراز Huggingface: NAT | dinat

11 نوفمبر 2022

• preprint الجديد: Stylenat: إعطاء كل رأس منظورًا جديدًا.
  • GAN القائم على الأسلوب مدعوم من انتباه الحي يضع SOTA جديد على FFHQ-256 مع 2.05 FID.

8 أكتوبر 2022

• Natten متاح الآن كحزمة PIP!
  • يمكنك الآن تثبيت Natten بالعجلات المسبقة مسبقًا ، والبدء في استخدامه في ثوانٍ.
  • سيتم الحفاظ على Natten وتطويره كمشروع منفصل لدعم الاستخدام الأوسع لاهتمام النافذة المنزلق ، حتى بعد رؤية الكمبيوتر.

29 سبتمبر 2022

• مسبق جديد: محول انتباه الحي المتوسع.

انتباه الحي المتوسع

محول رؤية هرمي جديد يعتمد على انتباه الحي (الاهتمام المحلي) واهتمام الحي المتوسع (الانتباه العالمي المتفوق) الذي يتمتع بموجب أداء كبير في مهام المصب.

تحقق من dinat readme.

محول انتباه الحي

ورقيتنا الأصلية ، محول انتباه الحي (NAT) ، أول اهتمام محلي فعال للانزلاق.

كيف يعمل اهتمام الحي

يترجم انتباه الحي حقل استقبال الرمز المميز (الأحمر) إلى أقرب الرموز المجاورة له في زوج القيمة الرئيسية (الأخضر). هذا يعادل انتباه النتيجة الناتجة عن النتيجة عندما يكون حجم الحي متطابقًا مع أبعاد الصورة. لاحظ أن الحواف هي حالات خاصة (حافة).

اقتباس

 @inproceedings { hassani2023neighborhood ,
	title        = { Neighborhood Attention Transformer } ,
	author       = { Ali Hassani and Steven Walton and Jiachen Li and Shen Li and Humphrey Shi } ,
	booktitle    = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) } ,
	month        = { June } ,
	year         = { 2023 } ,
	pages        = { 6185-6194 }
}
@article { hassani2022dilated ,
	title        = { Dilated Neighborhood Attention Transformer } ,
	author       = { Ali Hassani and Humphrey Shi } ,
	year         = 2022 ,
	url          = { https://arxiv.org/abs/2209.15001 } ,
	eprint       = { 2209.15001 } ,
	archiveprefix = { arXiv } ,
	primaryclass = { cs.CV }
}
@article { walton2022stylenat ,
	title        = { StyleNAT: Giving Each Head a New Perspective } ,
	author       = { Steven Walton and Ali Hassani and Xingqian Xu and Zhangyang Wang and Humphrey Shi } ,
	year         = 2022 ,
	url          = { https://arxiv.org/abs/2211.05770 } ,
	eprint       = { 2211.05770 } ,
	archiveprefix = { arXiv } ,
	primaryclass = { cs.CV }
}