Neighborhood Attention Transformer

หม้อแปลงความสนใจในละแวกใกล้เคียง

หม้อแปลงวิสัยทัศน์แบบลำดับชั้นที่ทรงพลังขึ้นอยู่กับความสนใจของหน้าต่างบานเลื่อน

ความสนใจในละแวกใกล้เคียง (NA, ความสนใจในท้องถิ่น) ได้รับการแนะนำในบทความต้นฉบับของเรา NAT และทำงานอย่างมีประสิทธิภาพด้วยการขยายของเราไปยัง Pytorch, Natten

เมื่อเร็ว ๆ นี้เราได้เปิดตัวโมเดลใหม่ Dinat ซึ่งขยาย NA โดยการขยายพื้นที่ใกล้เคียง (Dina, กระจัดกระจายความสนใจระดับโลกหรือที่รู้จักกันในนามความสนใจในท้องถิ่น)

การรวมกันของ Na/Dina มีความสามารถในการรักษาสถานที่รักษาความเท่าเทียมกันในการแปลการขยายสนามที่เปิดกว้างทวีคูณและการจับภาพระหว่างระยะยาวซึ่งนำไปสู่การเพิ่มประสิทธิภาพที่สำคัญในงานวิสัยทัศน์ดาวน์สตรีมเช่น stylenat สำหรับการสร้างภาพ

ข่าว

25 มีนาคม 2566

• หม้อแปลงความสนใจในละแวกนั้นได้รับการยอมรับจาก CVPR 2023!

18 พฤศจิกายน 2565

• Nat และ Dinat มีให้บริการผ่าน Transformers ของ HuggingFace
  • รุ่นการจำแนกประเภท NAT และ DINAT ยังมีอยู่ใน HUGGENTFACE HUB: NAT | Dinat

11 พฤศจิกายน 2565

• ใหม่ preprint: Stylenat: ให้มุมมองใหม่แต่ละหัว
  • GAN ตามสไตล์ที่ขับเคลื่อนด้วยความสนใจในพื้นที่ใกล้เคียงทำให้ SOTA ใหม่บน FFHQ-256 ด้วย 2.05 FID

8 ตุลาคม 2565

• Natten มีให้บริการในแพ็คเกจ PIP!
  • ตอนนี้คุณสามารถติดตั้ง Natten ด้วยล้อที่รวบรวมไว้ล่วงหน้าและเริ่มใช้ในไม่กี่วินาที
  • Natten จะได้รับการบำรุงรักษาและพัฒนาเป็นโครงการแยกต่างหากเพื่อรองรับการใช้งานที่กว้างขึ้นของความสนใจของหน้าต่างเลื่อนแม้กระทั่งเกินกว่าการมองเห็นคอมพิวเตอร์

29 กันยายน 2565

• ใหม่ preprint: หม้อแปลงความสนใจในละแวกใกล้เคียงขยาย

ความสนใจในพื้นที่ใกล้เคียง

หม้อแปลงวิสัยทัศน์แบบลำดับชั้นใหม่ขึ้นอยู่กับความสนใจในพื้นที่ใกล้เคียง (ความสนใจในท้องถิ่น) และความสนใจในละแวกใกล้เคียงที่ขยายตัว (ความสนใจทั่วโลกที่กระจัดกระจาย) ซึ่งมีความสุขในการเพิ่มประสิทธิภาพอย่างมากในงานดาวน์สตรีม

ตรวจสอบ Dinat Readme

หม้อแปลงความสนใจในละแวกใกล้เคียง

กระดาษต้นฉบับของเราหม้อแปลงความสนใจในละแวกใกล้เคียง (NAT) ซึ่งเป็นความสนใจในท้องถิ่นแบบเลื่อนที่มีประสิทธิภาพครั้งแรก

ความสนใจในพื้นที่ใกล้เคียงทำงานอย่างไร

ความสนใจในละแวกใกล้เคียง จำกัด การค้นหาโทเค็น (สีแดง) ที่เปิดกว้างไปยังโทเค็นใกล้เคียงที่ใกล้ที่สุดในคู่คีย์-ค่า (สีเขียว) สิ่งนี้เทียบเท่ากับความสนใจของตัวเอง Dot-Product เมื่อขนาดใกล้เคียงเหมือนกับขนาดของภาพ โปรดทราบว่าขอบเป็นกรณีพิเศษ (ขอบ)

การอ้างอิง

 @inproceedings { hassani2023neighborhood ,
	title        = { Neighborhood Attention Transformer } ,
	author       = { Ali Hassani and Steven Walton and Jiachen Li and Shen Li and Humphrey Shi } ,
	booktitle    = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) } ,
	month        = { June } ,
	year         = { 2023 } ,
	pages        = { 6185-6194 }
}
@article { hassani2022dilated ,
	title        = { Dilated Neighborhood Attention Transformer } ,
	author       = { Ali Hassani and Humphrey Shi } ,
	year         = 2022 ,
	url          = { https://arxiv.org/abs/2209.15001 } ,
	eprint       = { 2209.15001 } ,
	archiveprefix = { arXiv } ,
	primaryclass = { cs.CV }
}
@article { walton2022stylenat ,
	title        = { StyleNAT: Giving Each Head a New Perspective } ,
	author       = { Steven Walton and Ali Hassani and Xingqian Xu and Zhangyang Wang and Humphrey Shi } ,
	year         = 2022 ,
	url          = { https://arxiv.org/abs/2211.05770 } ,
	eprint       = { 2211.05770 } ,
	archiveprefix = { arXiv } ,
	primaryclass = { cs.CV }
}