involution

퇴화

인화에 설명 된 신경 운영자의 공식 구현 : 시각적 인식을위한 컨볼 루션의 고유를 반전시키기 (CVPR'21)

듀오 Li, Jie Hu, Changhu Wang, Xiangtai Li, Qi She, Lei Zhu, Tong Zhang 및 Qifeng Chen

TL; 박사 involution 다양한 비전 작업에 대한 다양한 딥 러닝 모델에 대한 다양한 신경 원시적입니다. involution 은 convolution 과 디자인의 self-attention 으로, convolution 보다 더 효율적이고 효과적이며, self-attention 보다 간단합니다.

귀하의 연구에 우리의 작업이 유용하다는 것을 알게되면 다음을 인용하십시오.

 @InProceedings{Li_2021_CVPR,
    author = {Li, Duo and Hu, Jie and Wang, Changhu and Li, Xiangtai and She, Qi and Zhu, Lei and Zhang, Tong and Chen, Qifeng},
    title = {Involution: Inverting the Inherence of Convolution for Visual Recognition},
    booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month = {June},
    year = {2021}
}

시작하기

이 저장소는 OpenMMLAB 툴킷에 완전히 구축되었습니다. 각 개별 작업마다 구성 및 모델 파일은 각각 MMCLS, MMDET 및 MMSEG와 동일한 디렉토리 조직을 따르므로 해당 위치로 복사하여 페이스트하여 시작하십시오.

예를 들어, 검출기 평가 측면에서

git clone https://github.com/open-mmlab/mmdetection # and install

# copy model files
cp det/mmdet/models/backbones/ * mmdetection/mmdet/models/backbones
cp det/mmdet/models/necks/ * mmdetection/mmdet/models/necks
cp det/mmdet/models/dense_heads/ * mmdetection/mmdet/models/dense_heads
cp det/mmdet/models/roi_heads/ * mmdetection/mmdet/models/roi_heads
cp det/mmdet/models/roi_heads/mask_heads/ * mmdetection/mmdet/models/roi_heads/mask_heads
cp det/mmdet/models/utils/ * mmdetection/mmdet/models/utils
cp det/mmdet/datasets/ * mmdetection/mmdet/datasets

# copy config files
cp det/configs/_base_/models/ * mmdetection/configs/_base_/models
cp det/configs/_base_/schedules/ * mmdetection/configs/_base_/schedules
cp det/configs/involution mmdetection/configs -r

# evaluate checkpoints
cd mmdetection
bash tools/dist_test.sh ${CONFIG_FILE} ${CHECKPOINT_FILE} ${GPU_NUM} [--out ${RESULT_FILE} ] [--eval ${EVAL_METRICS} ]

자세한 내용은 원래 MMCLS, MMDET 및 MMSEG 자습서를 참조하십시오.

현재 Cupy를 기반으로 InveluTon 연산자의 메모리 효율적인 구현을 제공합니다. 이 라이브러리를 미리 설치하십시오. 맞춤형 Cuda 커널은 하드웨어에 더 많은 가속을 가져올 것입니다. 이것에 관한 커뮤니티의 모든 기여는 환영받습니다!

모델 동물원

컨볼 루션 기준선과 비교하여 매개 변수/플롭 ↓ 및 성능 ↑는 괄호 안에 표시됩니다. 이러한 체크 포인트의 일부는 우리의 재 구현 실행에서 얻어지며, 그 성능은 논문에보고 된 것과 약간 차이를 보일 수 있습니다. 모델은 Imagenet에서 64 개의 GPU, Coco의 8GPU 및 CityScapes에서 4 개의 GPU로 훈련됩니다.

Imagenet의 이미지 분류

모델	매개 변수 (m)	플롭 (G)	상위 1 개 (%)	상위 5 개 (%)	구성	다운로드
레드넷 -26	9.23 (32.8%↓)	1.73 (29.2%↓)	75.96	93.19	구성	모델 | 통나무
레드넷 -38	12.39 (36.7%↓)	2.22 (31.3%↓)	77.48	93.57	구성	모델 | 통나무
레드넷 -50	15.54 (39.5%↓)	2.71 (34.1%↓)	78.35	94.13	구성	모델 | 통나무
레드넷 -101	25.65 (42.6%↓)	4.74 (40.5%↓)	78.92	94.35	구성	모델 | 통나무
REDNET-152	33.99 (43.5%↓)	6.79 (41.4%↓)	79.12	94.38	구성	모델 | 통나무

다음 다운 스트림 작업을 미세 조정하기 전에 ImageNet 사전 훈련 된 Rednet-50 가중치를 다운로드하고 사전에 pretrained 에 인수를 설정하여 det/configs/_base_/models/*.py 또는 seg/configs/_base_/models/*.py 로 로컬 경로로 설정하십시오.

코코의 객체 감지 및 인스턴스 분할

더 빠른 R-CNN

등뼈	목	머리	스타일	LR SCHD	매개 변수 (m)	플롭 (G)	상자 AP	구성	다운로드
레드넷 -50-fpn	회선	회선	Pytorch	1x	31.6 (23.9%↓)	177.9 (14.1%↓)	39.5 (1.8 ↑)	구성	모델 | 통나무
레드넷 -50-fpn	퇴화	회선	Pytorch	1x	29.5 (28.9%↓)	135.0 (34.8%↓)	40.2 (2.5 ↑)	구성	모델 | 통나무
레드넷 -50-fpn	퇴화	퇴화	Pytorch	1x	29.0 (30.1%↓)	91.5 (55.8%↓)	39.2 (1.5 ↑)	구성	모델 | 통나무

마스크 R-CNN

등뼈	목	머리	스타일	LR SCHD	매개 변수 (m)	플롭 (G)	상자 AP	마스크 ap	구성	다운로드
레드넷 -50-fpn	회선	회선	Pytorch	1x	34.2 (22.6%↓)	224.2 (11.5%↓)	39.9 (1.5 ↑)	35.7 (0.6 ↑)	구성	모델 | 통나무
레드넷 -50-fpn	퇴화	회선	Pytorch	1x	32.2 (27.1%↓)	181.3 (28.5%↓)	40.8 (2.4 ↑)	36.4 (1.3 ↑)	구성	모델 | 통나무
레드넷 -50-fpn	퇴화	퇴화	Pytorch	1x	29.5 (33.3%↓)	104.6 (58.7%↓)	39.6 (1.2 ↑)	35.1 (0.0 ↑)	구성	모델 | 통나무

RETINANET

등뼈	목	스타일	LR SCHD	매개 변수 (m)	플롭 (G)	상자 AP	구성	다운로드
레드넷 -50-fpn	회선	Pytorch	1x	27.8 (26.3%↓)	210.1 (12.2%↓)	38.2 (1.6 ↑)	구성	모델 | 통나무
레드넷 -50-fpn	퇴화	Pytorch	1x	26.3 (30.2%↓)	199.9 (16.5%↓)	38.2 (1.6 ↑)	구성	모델 | 통나무

도시 스케이프의 시맨틱 세분화

방법	등뼈	목	작물 크기	LR SCHD	매개 변수 (m)	플롭 (G)	미우	구성	다운로드
fpn	레드넷 -50	회선	512x1024	80000	18.5 (35.1%↓)	293.9 (19.0%↓)	78.0 (3.6 ↑)	구성	모델 | 통나무
fpn	레드넷 -50	퇴화	512x1024	80000	16.4 (42.5%↓)	205.2 (43.4%↓)	79.1 (4.7 ↑)	구성	모델 | 통나무
상향	레드넷 -50	회선	512x1024	80000	56.4 (15.1%↓)	1825.6 (3.6%↓)	80.6 (2.4 ↑)	구성	모델 | 통나무