involution下載 - involution源代碼下載

involution

Python

1.0.0

下載

互動

正式實施神經操作員，如涉及：視覺識別卷積的固有性（CVPR'21）

二人組李，Jie Hu，Changhu Wang，Xiangtai Li，Qi She，Lei Zhu，Tong Zhang和Qifeng Chen

tl;博士involution是一種通用神經原始的原始性，對於不同視力任務的深度學習模型而言，它具有多功能性。 involution在設計中的convolution和self-attention ，同時比convolution更有效，比在形式上更self-attention 。

如果您發現我們的工作對您的研究有用，請引用：

 @InProceedings{Li_2021_CVPR,
    author = {Li, Duo and Hu, Jie and Wang, Changhu and Li, Xiangtai and She, Qi and Zhu, Lei and Zhang, Tong and Chen, Qifeng},
    title = {Involution: Inverting the Inherence of Convolution for Visual Recognition},
    booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month = {June},
    year = {2021}
}

入門

該存儲庫完全建立在OpenMMLAB工具包上。對於每個任務，配置和模型文件分別遵循與MMCL，MMDET和MMSEG相同的目錄組織，因此只需將它們複製到相應的位置即可開始。

例如，在評估檢測器方面

git clone https://github.com/open-mmlab/mmdetection # and install

# copy model files
cp det/mmdet/models/backbones/ * mmdetection/mmdet/models/backbones
cp det/mmdet/models/necks/ * mmdetection/mmdet/models/necks
cp det/mmdet/models/dense_heads/ * mmdetection/mmdet/models/dense_heads
cp det/mmdet/models/roi_heads/ * mmdetection/mmdet/models/roi_heads
cp det/mmdet/models/roi_heads/mask_heads/ * mmdetection/mmdet/models/roi_heads/mask_heads
cp det/mmdet/models/utils/ * mmdetection/mmdet/models/utils
cp det/mmdet/datasets/ * mmdetection/mmdet/datasets

# copy config files
cp det/configs/_base_/models/ * mmdetection/configs/_base_/models
cp det/configs/_base_/schedules/ * mmdetection/configs/_base_/schedules
cp det/configs/involution mmdetection/configs -r

# evaluate checkpoints
cd mmdetection
bash tools/dist_test.sh ${CONFIG_FILE} ${CHECKPOINT_FILE} ${GPU_NUM} [--out ${RESULT_FILE} ] [--eval ${EVAL_METRICS} ]

有關更多詳細指導，請參閱原始MMCL，MMDET和MMSEG教程。

目前，我們根據CUPY提供了對參與者操作員的記憶有效實現。請提前安裝此庫。定制的CUDA內核將在硬件上進一步加速。歡迎社區對此的任何貢獻！

模型動物園

與卷積基線相比，參數/拖曳↓和性能↑在括號中標記。這些檢查點的一部分是在我們的重新實現運行中獲得的，其性能可能顯示出與本文中報告的差異。在Imagenet上使用64個GPU，Coco上的8 GPU和4個GPU培訓了型號。

Imagenet上的圖像分類

模型	參數（m）	拖鞋（g）	TOP-1（％）	前5名（％）	config	下載
Rednet-26	9.23 _{（32.8％↓）}	1.73 _{（29.2％↓）}	75.96	93.19	config	模型\|日誌
Rednet-38	12.39 _{（36.7％↓）}	2.22 _{（31.3％↓）}	77.48	93.57	config	模型\|日誌
Rednet-50	15.54 _{（39.5％↓）}	2.71 _{（34.1％↓）}	78.35	94.13	config	模型\|日誌
Rednet-101	25.65 _{（42.6％↓）}	4.74 _{（40.5％↓）}	78.92	94.35	config	模型\|日誌
Rednet-152	33.99 _{（43.5％↓）}	6.79 _{（41.4％↓）}	79.12	94.38	config	模型\|日誌

在以下下游任務進行列式之前，請下載ImageNet預先訓練的Rednet-50權重，並將pretrained參數設置為det/configs/_base_/models/*.py或seg/configs/_base_/models/*.py 。

可可的對象檢測和實例分割

更快的R-CNN

骨幹	脖子	頭	風格	LR Schd	參數（m）	拖鞋（g）	盒子AP	config	下載
rednet-50-fpn	卷積	卷積	Pytorch	1倍	31.6 _{（23.9％↓）}	177.9 _{（14.1％↓）}	39.5 _（1.8↑）	config	模型\|日誌
rednet-50-fpn	互動	卷積	Pytorch	1倍	29.5 _{（28.9％↓）}	135.0 _{（34.8％↓）}	40.2 _（2.5↑）	config	模型\|日誌
rednet-50-fpn	互動	互動	Pytorch	1倍	29.0 _{（30.1％↓）}	91.5 _{（55.8％↓）}	39.2 _（1.5↑）	config	模型\|日誌

面具R-CNN

骨幹	脖子	頭	風格	LR Schd	參數（m）	拖鞋（g）	盒子AP	面具AP	config	下載
rednet-50-fpn	卷積	卷積	Pytorch	1倍	34.2 _{（22.6％↓）}	224.2 _{（11.5％↓）}	39.9 _（1.5↑）	35.7 _（0.6↑）	config	模型\|日誌
rednet-50-fpn	互動	卷積	Pytorch	1倍	32.2 _{（27.1％↓）}	181.3 _{（28.5％↓）}	40.8 _（2.4↑）	36.4 _（1.3↑）	config	模型\|日誌
rednet-50-fpn	互動	互動	Pytorch	1倍	29.5 _{（33.3％↓）}	104.6 _{（58.7％↓）}	39.6 _（1.2↑）	35.1 _（0.0↑）	config	模型\|日誌

視網膜

骨幹	脖子	風格	LR Schd	參數（m）	拖鞋（g）	盒子AP	config	下載
rednet-50-fpn	卷積	Pytorch	1倍	27.8 _{（26.3％↓）}	210.1 _{（12.2％↓）}	38.2 _（1.6↑）	config	模型\|日誌
rednet-50-fpn	互動	Pytorch	1倍	26.3 _{（30.2％↓）}	199.9 _{（16.5％↓）}	38.2 _（1.6↑）	config	模型\|日誌

城市景觀的語義細分

方法	骨幹	脖子	作物大小	LR Schd	參數（m）	拖鞋（g）	miou	config	下載
FPN	Rednet-50	卷積	512x1024	80000	18.5 _{（35.1％↓）}	293.9 _{（19.0％↓）}	78.0 _（3.6↑）	config	模型\|日誌
FPN	Rednet-50	互動	512x1024	80000	16.4 _{（42.5％↓）}	205.2 _{（43.4％↓）}	79.1 _（4.7↑）	config	模型\|日誌
Upernet	Rednet-50	卷積	512x1024	80000	56.4 _{（15.1％↓）}	1825.6 _{（3.6％↓）}	80.6 _（2.4↑）	config	模型\|日誌