หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

การมีส่วนร่วม

การดำเนินการอย่างเป็นทางการของผู้ประกอบการประสาทตามที่อธิบายไว้ในการมีส่วนร่วม: การพลิกผันการสืบทอดของ convolution สำหรับการจดจำภาพ (cvpr'21)

โดย Duo Li, Jie Hu, Changhu Wang, Xiangtai Li, Qi She, Lei Zhu, Tong Zhang และ Qifeng Chen

TL; ดร. involution เป็นดั้งเดิมของระบบประสาทที่มีวัตถุประสงค์ทั่วไปซึ่งมีความหลากหลายสำหรับแบบจำลองการเรียนรู้เชิงลึกในงานการมองเห็นที่แตกต่างกัน involution ร่วมเชื่อมโยง convolution และ self-attention ในการออกแบบในขณะที่มีประสิทธิภาพและมีประสิทธิภาพมากกว่า convolution ง่ายกว่า self-attention ในรูปแบบ

หากคุณพบว่างานของเรามีประโยชน์ในการวิจัยของคุณโปรดอ้างอิง: 

 @InProceedings{Li_2021_CVPR,
    author = {Li, Duo and Hu, Jie and Wang, Changhu and Li, Xiangtai and She, Qi and Zhu, Lei and Zhang, Tong and Chen, Qifeng},
    title = {Involution: Inverting the Inherence of Convolution for Visual Recognition},
    booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month = {June},
    year = {2021}
}

เริ่มต้น

ที่เก็บนี้ถูกสร้างขึ้นอย่างเต็มที่บนชุดเครื่องมือ OpenMMLAB สำหรับแต่ละงานแต่ละงานไฟล์ config และ model จะปฏิบัติตามองค์กรไดเรกทอรีเดียวกันกับ MMCLs, MMDET และ MMSEG ตามลำดับดังนั้นเพียงคัดลอกและวางไปยังตำแหน่งที่สอดคล้องกันเพื่อเริ่มต้น

ตัวอย่างเช่นในแง่ของการประเมินเครื่องตรวจจับ 

git clone https://github.com/open-mmlab/mmdetection # and install

# copy model files
cp det/mmdet/models/backbones/ * mmdetection/mmdet/models/backbones
cp det/mmdet/models/necks/ * mmdetection/mmdet/models/necks
cp det/mmdet/models/dense_heads/ * mmdetection/mmdet/models/dense_heads
cp det/mmdet/models/roi_heads/ * mmdetection/mmdet/models/roi_heads
cp det/mmdet/models/roi_heads/mask_heads/ * mmdetection/mmdet/models/roi_heads/mask_heads
cp det/mmdet/models/utils/ * mmdetection/mmdet/models/utils
cp det/mmdet/datasets/ * mmdetection/mmdet/datasets

# copy config files
cp det/configs/_base_/models/ * mmdetection/configs/_base_/models
cp det/configs/_base_/schedules/ * mmdetection/configs/_base_/schedules
cp det/configs/involution mmdetection/configs -r

# evaluate checkpoints
cd mmdetection
bash tools/dist_test.sh ${CONFIG_FILE} ${CHECKPOINT_FILE} ${GPU_NUM} [--out ${RESULT_FILE} ] [--eval ${EVAL_METRICS} ]

สำหรับคำแนะนำโดยละเอียดเพิ่มเติมโปรดดูที่ MMCLS, MMDET ดั้งเดิมและ MMSEG แบบฝึกหัด

ปัจจุบันเราให้การใช้งานที่มีประสิทธิภาพของหน่วยความจำของผู้ให้บริการ Involuton ตาม Cupy โปรดติดตั้งไลบรารีนี้ล่วงหน้า เคอร์เนล CUDA ที่กำหนดเองจะนำมาซึ่งการเร่งความเร็วเพิ่มเติมในฮาร์ดแวร์ การบริจาคใด ๆ จากชุมชนเกี่ยวกับเรื่องนี้ได้รับการต้อนรับ!

สวนสัตว์รุ่น

พารามิเตอร์/รองเท้าแตะ↓และประสิทธิภาพ↑เมื่อเทียบกับเส้นเขตแดนของ convolution จะถูกทำเครื่องหมายในวงเล็บ ส่วนหนึ่งของจุดตรวจเหล่านี้ได้รับในการดำเนินการใหม่ของเราซึ่งการทำงานอาจแสดงความแตกต่างเล็กน้อยกับที่รายงานในบทความของเรา นางแบบได้รับการฝึกฝนด้วย 64 GPUs บน ImageNet, 8 GPUs บน Coco และ 4 GPUs บนทิวทัศน์ของเมือง

การจำแนกรูปภาพบน Imagenet

แบบอย่าง params (M) Flops (G) Top-1 (%) Top-5 (%) การกำหนดค่า การดาวน์โหลด
Rednet-26 9.23 (32.8%↓) 1.73 (29.2%↓) 75.96 93.19 การกำหนดค่า รุ่น | บันทึก
Rednet-38 12.39 (36.7%↓) 2.22 (31.3%↓) 77.48 93.57 การกำหนดค่า รุ่น | บันทึก
Rednet-50 15.54 (39.5%↓) 2.71 (34.1%↓) 78.35 94.13 การกำหนดค่า รุ่น | บันทึก
Rednet-101 25.65 (42.6%↓) 4.74 (40.5%↓) 78.92 94.35 การกำหนดค่า รุ่น | บันทึก
Rednet-152 33.99 (43.5%↓) 6.79 (41.4%↓) 79.12 94.38 การกำหนดค่า รุ่น | บันทึก

ก่อนที่จะใช้งานในงานดาวน์สตรีมต่อไปนี้ให้ดาวน์โหลด ImageNet pre-ได้รับการฝึกอบรมก่อนน้ำหนัก Rednet-50 และตั้งค่าอาร์กิวเมนต์ pretrained ใน det/configs/_base_/models/*.py หรือ seg/configs/_base_/models/*.py ไปยังเส้นทางท้องถิ่นของคุณ

การตรวจจับวัตถุและการแบ่งส่วนอินสแตนซ์บน Coco

r-cnn เร็วขึ้น

กระดูกสันหลัง คอ ศีรษะ สไตล์ LR Schd params (M) Flops (G) กล่อง AP การกำหนดค่า การดาวน์โหลด
Rednet-50-FPN การสานต่อ การสานต่อ pytorch 1x 31.6 (23.9%↓) 177.9 (14.1%↓) 39.5 (1.8 ↑) การกำหนดค่า รุ่น | บันทึก
Rednet-50-FPN การมีส่วนร่วม การสานต่อ pytorch 1x 29.5 (28.9%↓) 135.0 (34.8%↓) 40.2 (2.5 ↑) การกำหนดค่า รุ่น | บันทึก
Rednet-50-FPN การมีส่วนร่วม การมีส่วนร่วม pytorch 1x 29.0 (30.1%↓) 91.5 (55.8%↓) 39.2 (1.5 ↑) การกำหนดค่า รุ่น | บันทึก

หน้ากาก r-cnn

กระดูกสันหลัง คอ ศีรษะ สไตล์ LR Schd params (M) Flops (G) กล่อง AP หน้ากาก AP การกำหนดค่า การดาวน์โหลด
Rednet-50-FPN การสานต่อ การสานต่อ pytorch 1x 34.2 (22.6%↓) 224.2 (11.5%↓) 39.9 (1.5 ↑) 35.7 (0.6 ↑) การกำหนดค่า รุ่น | บันทึก
Rednet-50-FPN การมีส่วนร่วม การสานต่อ pytorch 1x 32.2 (27.1%↓) 181.3 (28.5%↓) 40.8 (2.4 ↑) 36.4 (1.3 ↑) การกำหนดค่า รุ่น | บันทึก
Rednet-50-FPN การมีส่วนร่วม การมีส่วนร่วม pytorch 1x 29.5 (33.3%↓) 104.6 (58.7%↓) 39.6 (1.2 ↑) 35.1 (0.0 ↑) การกำหนดค่า รุ่น | บันทึก

เรตินัน

กระดูกสันหลัง คอ สไตล์ LR Schd params (M) Flops (G) กล่อง AP การกำหนดค่า การดาวน์โหลด
Rednet-50-FPN การสานต่อ pytorch 1x 27.8 (26.3%↓) 210.1 (12.2%↓) 38.2 (1.6 ↑) การกำหนดค่า รุ่น | บันทึก
Rednet-50-FPN การมีส่วนร่วม pytorch 1x 26.3 (30.2%↓) 199.9 (16.5%↓) 38.2 (1.6 ↑) การกำหนดค่า รุ่น | บันทึก

การแบ่งส่วนความหมายบนทิวทัศน์ของเมือง

วิธี กระดูกสันหลัง คอ ขนาดพืช LR Schd params (M) Flops (G) Miou การกำหนดค่า การดาวน์โหลด
FPN Rednet-50 การสานต่อ 512x1024 80000 18.5 (35.1%↓) 293.9 (19.0%↓) 78.0 (3.6 ↑) การกำหนดค่า รุ่น | บันทึก
FPN Rednet-50 การมีส่วนร่วม 512x1024 80000 16.4 (42.5%↓) 205.2 (43.4%↓) 79.1 (4.7 ↑) การกำหนดค่า รุ่น | บันทึก
upernet Rednet-50 การสานต่อ 512x1024 80000 56.4 (15.1%↓) 1825.6 (3.6%↓) 80.6 (2.4 ↑) การกำหนดค่า รุ่น | บันทึก
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด