involution
1.0.0
التنفيذ الرسمي للمشغل العصبي كما هو موضح في الانخراط: قلب وراثة الالتواء للاعتراف البصري (CVPR'21)
بقلم الثنائي لي ، جي هو ، تشانجو وانغ ، شيانغتاي لي ، تشي هي ، لي تشو ، تونغ تشانغ ، وكيفنغ تشن
TL ؛ دكتور. involution هو بدائي عصبي للأغراض العامة متعددة الاستخدامات بالنسبة لطيف نماذج التعلم العميق في مهام الرؤية المختلفة. involution الجسور convolution self-attention في التصميم ، مع كونه أكثر كفاءة وفعالية من convolution ، أبسط من self-attention في الشكل.
إذا وجدت عملنا مفيدًا في بحثك ، فيرجى الاستشهاد:
@InProceedings{Li_2021_CVPR,
author = {Li, Duo and Hu, Jie and Wang, Changhu and Li, Xiangtai and She, Qi and Zhu, Lei and Zhang, Tong and Chen, Qifeng},
title = {Involution: Inverting the Inherence of Convolution for Visual Recognition},
booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2021}
}
تم بناء هذا المستودع بالكامل على مجموعات أدوات OpenMMLAB. لكل مهمة فردية ، تتبع ملفات التكوين والموديل نفس مؤسسة الدليل مثل MMCLS و MMDET و MMSEG على التوالي ، لذلك فقط نسخها وملصقها إلى المواقع المقابلة للبدء.
على سبيل المثال ، من حيث تقييم أجهزة الكشف
git clone https://github.com/open-mmlab/mmdetection # and install
# copy model files
cp det/mmdet/models/backbones/ * mmdetection/mmdet/models/backbones
cp det/mmdet/models/necks/ * mmdetection/mmdet/models/necks
cp det/mmdet/models/dense_heads/ * mmdetection/mmdet/models/dense_heads
cp det/mmdet/models/roi_heads/ * mmdetection/mmdet/models/roi_heads
cp det/mmdet/models/roi_heads/mask_heads/ * mmdetection/mmdet/models/roi_heads/mask_heads
cp det/mmdet/models/utils/ * mmdetection/mmdet/models/utils
cp det/mmdet/datasets/ * mmdetection/mmdet/datasets
# copy config files
cp det/configs/_base_/models/ * mmdetection/configs/_base_/models
cp det/configs/_base_/schedules/ * mmdetection/configs/_base_/schedules
cp det/configs/involution mmdetection/configs -r
# evaluate checkpoints
cd mmdetection
bash tools/dist_test.sh ${CONFIG_FILE} ${CHECKPOINT_FILE} ${GPU_NUM} [--out ${RESULT_FILE} ] [--eval ${EVAL_METRICS} ]لمزيد من التوجيه التفصيلي ، يرجى الرجوع إلى دروس MMCLS الأصلية ، MMDET ، و MMSEG.
حاليًا ، نقدم تنفيذًا فعالًا للذاكرة لمشغل Instron على أساس الكأس. يرجى تثبيت هذه المكتبة مقدما. من شأن نواة CUDA المخصصة أن تؤدي إلى مزيد من التسارع على الأجهزة. أي مساهمة من المجتمع بخصوص هذا هو موضع ترحيب!
يتم وضع علامة على المعلمات/flops ↓ والأداء ↑ مقارنةً بخطوط الأساس بالالتواء في الأقواس. يتم الحصول على جزء من نقاط التفتيش هذه في عمليات إعادة التنفيذ الخاصة بنا ، والتي قد تظهر أدائها اختلافات طفيفة مع تلك المبلغ عنها في ورقتنا. يتم تدريب النماذج مع 64 وحدات معالجة الرسومات على ImageNet و 8 وحدات معالجة الرسومات على Coco و 4 وحدات معالجة الرسومات على مناظر المدينة.
| نموذج | params (M) | يتخبط (ز) | أعلى 1 (٪) | أعلى 5 (٪) | تكوين | تحميل |
|---|---|---|---|---|---|---|
| rednet-26 | 9.23 (32.8 ٪ ↓) | 1.73 (29.2 ٪ ↓) | 75.96 | 93.19 | تكوين | نموذج | سجل |
| rednet-38 | 12.39 (36.7 ٪ ↓) | 2.22 (31.3 ٪ ↓) | 77.48 | 93.57 | تكوين | نموذج | سجل |
| rednet-50 | 15.54 (39.5 ٪ ↓) | 2.71 (34.1 ٪ ↓) | 78.35 | 94.13 | تكوين | نموذج | سجل |
| rednet-101 | 25.65 (42.6 ٪ ↓) | 4.74 (40.5 ٪ ↓) | 78.92 | 94.35 | تكوين | نموذج | سجل |
| rednet-152 | 33.99 (43.5 ٪ ↓) | 6.79 (41.4 ٪ ↓) | 79.12 | 94.38 | تكوين | نموذج | سجل |
قبل أن تتناسب مع المهام التالية ، قم بتنزيل أوزان RedNet-50 التي تم تدريبها مسبقًا وضبط الوسيطة pretrained في det/configs/_base_/models/*.py seg/configs/_base_/models/*.py
| العمود الفقري | رقبة | رأس | أسلوب | LR Schd | params (M) | يتخبط (ز) | مربع AP | تكوين | تحميل |
|---|---|---|---|---|---|---|---|---|---|
| rednet-50-fpn | التفاف | التفاف | Pytorch | 1x | 31.6 (23.9 ٪ ↓) | 177.9 (14.1 ٪ ↓) | 39.5 (1.8 ↑) | تكوين | نموذج | سجل |
| rednet-50-fpn | الانخراط | التفاف | Pytorch | 1x | 29.5 (28.9 ٪ ↓) | 135.0 (34.8 ٪ ↓) | 40.2 (2.5 ↑) | تكوين | نموذج | سجل |
| rednet-50-fpn | الانخراط | الانخراط | Pytorch | 1x | 29.0 (30.1 ٪ ↓) | 91.5 (55.8 ٪ ↓) | 39.2 (1.5 ↑) | تكوين | نموذج | سجل |
| العمود الفقري | رقبة | رأس | أسلوب | LR Schd | params (M) | يتخبط (ز) | مربع AP | قناع AP | تكوين | تحميل |
|---|---|---|---|---|---|---|---|---|---|---|
| rednet-50-fpn | التفاف | التفاف | Pytorch | 1x | 34.2 (22.6 ٪ ↓) | 224.2 (11.5 ٪ ↓) | 39.9 (1.5 ↑) | 35.7 (0.6 ↑) | تكوين | نموذج | سجل |
| rednet-50-fpn | الانخراط | التفاف | Pytorch | 1x | 32.2 (27.1 ٪ ↓) | 181.3 (28.5 ٪ ↓) | 40.8 (2.4 ↑) | 36.4 (1.3 ↑) | تكوين | نموذج | سجل |
| rednet-50-fpn | الانخراط | الانخراط | Pytorch | 1x | 29.5 (33.3 ٪ ↓) | 104.6 (58.7 ٪ ↓) | 39.6 (1.2 ↑) | 35.1 (0.0 ↑) | تكوين | نموذج | سجل |
| العمود الفقري | رقبة | أسلوب | LR Schd | params (M) | يتخبط (ز) | مربع AP | تكوين | تحميل |
|---|---|---|---|---|---|---|---|---|
| rednet-50-fpn | التفاف | Pytorch | 1x | 27.8 (26.3 ٪ ↓) | 210.1 (12.2 ٪ ↓) | 38.2 (1.6 ↑) | تكوين | نموذج | سجل |
| rednet-50-fpn | الانخراط | Pytorch | 1x | 26.3 (30.2 ٪ ↓) | 199.9 (16.5 ٪ ↓) | 38.2 (1.6 ↑) | تكوين | نموذج | سجل |
| طريقة | العمود الفقري | رقبة | حجم المحصول | LR Schd | params (M) | يتخبط (ز) | ميو | تكوين | تحميل |
|---|---|---|---|---|---|---|---|---|---|
| FPN | rednet-50 | التفاف | 512x1024 | 80000 | 18.5 (35.1 ٪ ↓) | 293.9 (19.0 ٪ ↓) | 78.0 (3.6 ↑) | تكوين | نموذج | سجل |
| FPN | rednet-50 | الانخراط | 512x1024 | 80000 | 16.4 (42.5 ٪ ↓) | 205.2 (43.4 ٪ ↓) | 79.1 (4.7 ↑) | تكوين | نموذج | سجل |
| Upernet | rednet-50 | التفاف | 512x1024 | 80000 | 56.4 (15.1 ٪ ↓) | 1825.6 (3.6 ٪ ↓) | 80.6 (2.4 ↑) | تكوين | نموذج | سجل |
