PytorchInsight
1.0.0
นี่คือ Pytorch Lib ที่มีสถาปัตยกรรมที่ทันสมัยโมเดลที่ผ่านการฝึกอบรมและผลลัพธ์ที่ได้รับการปรับปรุงแบบเรียลไทม์
ที่เก็บนี้มีวัตถุประสงค์เพื่อเร่งการวิจัยการเรียนรู้อย่างลึกซึ้งทำให้ผลลัพธ์ที่ทำซ้ำได้และง่ายขึ้นสำหรับการทำวิจัยและใน Pytorch
- Senet: เครือข่ายการบีบและการกระตุ้น (กระดาษ)
- Sknet: เครือข่ายเคอร์เนลแบบเลือก (กระดาษ)
- CBAM: โมดูลความสนใจบล็อก convolutional (กระดาษ)
- GCNET: GCNET: เครือข่ายที่ไม่ใช่ท้องถิ่นพบกับเครือข่ายการบีบอัดและอื่น ๆ (กระดาษ)
- BAM: โมดูลความสนใจคอขวด (กระดาษ)
- SGENET: การปรับปรุงกลุ่มที่ชาญฉลาดเชิงพื้นที่: เพิ่มการเรียนรู้คุณสมบัติความหมายในเครือข่าย Convolutional (กระดาษ)
- SRMNET: SRM: โมดูลการปรับเทียบตามสไตล์สำหรับเครือข่ายประสาท (กระดาษ) (กระดาษ)
- OCTNET: วางอ็อกเทฟ: การลดความซ้ำซ้อนเชิงพื้นที่ในเครือข่ายประสาทแบบ convolutional ด้วยการโน้มน้าว Octave (กระดาษ)
- ImageNet_tricks.py: Bag of Licks สำหรับการจำแนกรูปภาพด้วยเครือข่ายประสาท Convolutional (กระดาษ)
- ทำความเข้าใจกับความไม่ลงรอยกันระหว่างตระกูลการทำให้เป็นมาตรฐานน้ำหนักและการสลายตัวของน้ำหนัก: E-shifted L2 Reganizer (ปรากฏ)
- การวางนัยทั่วไปที่ผูกพันตามปกติ: กรอบการทำงานแบบครบวงจรสำหรับการทำความเข้าใจการสลายตัวของน้ำหนัก (ปรากฏ)
- การผสม: นอกเหนือจากการลดความเสี่ยงเชิงประจักษ์ (กระดาษ)
- Cutmix: กลยุทธ์การทำให้เป็นมาตรฐานในการฝึกอบรมตัวแยกประเภทที่แข็งแกร่งด้วยคุณสมบัติที่สามารถแปลได้ (กระดาษ)
ข้อผิดพลาดการตรวจสอบความถูกต้องของพืชผลเดียวบน Imagenet-1K (กึ่งกลาง 224x224 การครอบตัดจากภาพที่ปรับขนาดโดยมีด้านที่สั้นกว่า = 256)
| การตั้งค่าการฝึกอบรม classifiaction สำหรับสื่อและโมเดลขนาดใหญ่ | |
|---|---|
| รายละเอียด | แบบสุ่ม, สุ่ม, horizontalflip; 0.1 init lr, รวม 100 ยุค, สลายตัวทุก ๆ 30 ยุค; SGD กับการสูญเสียเอนโทรปี Softmax ที่ไร้เดียงสา, การสลายน้ำหนัก 1E-4, 0.9 โมเมนตัม, 8 GPU, 32 ภาพต่อ GPU |
| ตัวอย่าง | resnet50 |
| บันทึก | รหัสใหม่ล่าสุดเพิ่มการดำเนินการเริ่มต้นหนึ่งครั้ง: การตั้งค่าอคติทั้งหมด WD = 0 โปรดดูการวิเคราะห์เชิงทฤษฎีของ |
| การตั้งค่าการฝึกอบรม classifiaction สำหรับรุ่นมือถือ/ขนาดเล็ก | |
|---|---|
| รายละเอียด | แบบสุ่ม, สุ่ม, horizontalflip; 0.4 init lr, รวม 300 epochs, 5 การอุ่นเครื่องเชิงเส้นขึ้น, การสลายตัวของโคไซน์ LR; SGD กับ Softmax Cross Entropy Loss และ Label Smoothing 0.1, 4E-5 การสลายตัวของน้ำหนักในน้ำหนัก Conv, 0 การสลายตัวของน้ำหนักในน้ำหนักอื่น ๆ ทั้งหมด, 0.9 โมเมนตัม, 8 GPU, 128 ภาพต่อ GPU |
| ตัวอย่าง | Shufflenetv2 |
python -m torch.distributed.launch --nproc_per_node=8 imagenet_mobile.py --cos -a shufflenetv2_1x --data /path/to/imagenet1k/
--epochs 300 --wd 4e-5 --gamma 0.1 -c checkpoints/imagenet/shufflenetv2_1x --train-batch 128 --opt-level O0 --nowd-bn # Triaing
python -m torch.distributed.launch --nproc_per_node=2 imagenet_mobile.py -a shufflenetv2_1x --data /path/to/imagenet1k/
-e --resume ../pretrain/shufflenetv2_1x.pth.tar --test-batch 100 --opt-level O0 # Testing, ~69.6% top-1 Acc
python -W ignore imagenet.py -a sge_resnet101 --data /path/to/imagenet1k/ --epochs 100 --schedule 30 60 90
--gamma 0.1 -c checkpoints/imagenet/sge_resnet101 --gpu-id 0,1,2,3,4,5,6,7 # Training
python -m torch.distributed.launch --nproc_per_node=8 imagenet_fast.py -a sge_resnet101 --data /path/to/imagenet1k/
--epochs 100 --schedule 30 60 90 --wd 1e-4 --gamma 0.1 -c checkpoints/imagenet/sge_resnet101 --train-batch 32
--opt-level O0 --wd-all --label-smoothing 0. --warmup 0 # Training (faster)
python -W ignore imagenet.py -a sge_resnet101 --data /path/to/imagenet1k/ --gpu-id 0,1 -e --resume ../pretrain/sge_resnet101.pth.tar
# Testing ~78.8% top-1 Acc
python -m torch.distributed.launch --nproc_per_node=2 imagenet_fast.py -a sge_resnet101 --data /path/to/imagenet1k/ -e --resume
../pretrain/sge_resnet101.pth.tar --test-batch 100 --opt-level O0 # Testing (faster) ~78.8% top-1 Acc
python -m torch.distributed.launch --nproc_per_node=8 imagenet_fast.py -a ws_resnet50 --data /share1/public/public/imagenet1k/
--epochs 100 --schedule 30 60 90 --wd 1e-4 --gamma 0.1 -c checkpoints/imagenet/es1e-3_ws_resnet50 --train-batch 32
--opt-level O0 --label-smoothing 0. --warmup 0 --nowd-conv --mineps 1e-3 --el2
หมายเหตุผลลัพธ์ต่อไปนี้ (เก่า) ไม่ได้ตั้งค่าอคติ WD = 0 สำหรับรุ่นขนาดใหญ่
| แบบอย่าง | #p | gflops | Top-1 ACC | TOP-5 ACC | ดาวน์โหลด 1 | ดาวน์โหลด 2 | บันทึก |
|---|---|---|---|---|---|---|---|
| shufflenetv2_1x | 2.28m | 0.151 | 69.6420 | 88.7200 | googledrive | shufflenetv2_1x.log | |
| resnet50 | 25.56m | 4.122 | 76.3840 | 92.9080 | Baidudrive (zuvx) | googledrive | old_resnet50.log |
| SE-RESNET50 | 28.09m | 4.130 | 77.1840 | 93.6720 | |||
| Sk-Resnet50* | 26.15m | 4.185 | 77.5380 | 93.7000 | Baidudrive (tfwn) | googledrive | sk_resnet50.log |
| BAM-RESNET50 | 25.92m | 4.205 | 76.8980 | 93.4020 | Baidudrive (Z0H3) | googledrive | bam_resnet50.log |
| CBAM-RESNET50 | 28.09m | 4.139 | 77.6260 | 93.6600 | Baidudrive (Bram) | googledrive | cbam_resnet50.log |
| SGE-RESNET50 | 25.56m | 4.127 | 77.5840 | 93.6640 | Baidudrive (GXO9) | googledrive | sge_resnet50.log |
| resnet101 | 44.55m | 7.849 | 78.2000 | 93.9060 | Baidudrive (JS5T) | googledrive | old_resnet101.log |
| SE-RESNET101 | 49.33m | 7.863 | 78.4680 | 94.1020 | Baidudrive (J2ox) | googledrive | se_resnet101.log |
| Sk-Resnet101* | 45.68m | 7.978 | 78.7920 | 94.2680 | Baidudrive (BOII) | googledrive | sk_resnet101.log |
| BAM-RESNET101 | 44.91m | 7.933 | 78.2180 | 94.0180 | Baidudrive (4BW6) | googledrive | bam_resnet101.log |
| CBAM-RESNET101 | 49.33m | 7.879 | 78.3540 | 94.0640 | Baidudrive (Syj3) | googledrive | cbam_resnet101.log |
| SGE-RESNET101 | 44.55m | 7.858 | 78.7980 | 94.3680 | Baidudrive (WQN6) | googledrive | sge_resnet101.log |
ที่นี่ SK-RESNET* เป็นเวอร์ชันที่แก้ไขแล้ว (สำหรับการเปรียบเทียบที่เป็นธรรมมากขึ้นกับ ResNet Backbone ที่นี่) ของ Sknet ดั้งเดิม Sknets ดั้งเดิมทำงานได้ดีขึ้นและรุ่น Pytorch สามารถอ้างอิงได้ใน Ppplang-Sknet
| แบบอย่าง | #p | gflops | เครื่องตรวจจับ | คอ | AP50: 95 (%) | AP50 (%) | AP75 (%) | การดาวน์โหลด |
|---|---|---|---|---|---|---|---|---|
| resnet50 | 23.51m | 88.0 | rcnn เร็วขึ้น | FPN | 37.5 | 59.1 | 40.6 | googledrive |
| SGE-RESNET50 | 23.51m | 88.1 | rcnn เร็วขึ้น | FPN | 38.7 | 60.8 | 41.7 | googledrive |
| resnet50 | 23.51m | 88.0 | หน้ากาก rcnn | FPN | 38.6 | 60.0 | 41.9 | googledrive |
| SGE-RESNET50 | 23.51m | 88.1 | หน้ากาก rcnn | FPN | 39.6 | 61.5 | 42.9 | googledrive |
| resnet50 | 23.51m | 88.0 | เรียงซ้อน rcnn | FPN | 41.1 | 59.3 | 44.8 | googledrive |
| SGE-RESNET50 | 23.51m | 88.1 | เรียงซ้อน rcnn | FPN | 42.6 | 61.4 | 46.2 | googledrive |
| resnet101 | 42.50m | 167.9 | rcnn เร็วขึ้น | FPN | 39.4 | 60.7 | 43.0 | googledrive |
| SE-RESNET101 | 47.28m | 168.3 | rcnn เร็วขึ้น | FPN | 40.4 | 61.9 | 44.2 | googledrive |
| SGE-RESNET101 | 42.50m | 168.1 | rcnn เร็วขึ้น | FPN | 41.0 | 63.0 | 44.3 | googledrive |
| resnet101 | 42.50m | 167.9 | หน้ากาก rcnn | FPN | 40.4 | 61.6 | 44.2 | googledrive |
| SE-RESNET101 | 47.28m | 168.3 | หน้ากาก rcnn | FPN | 41.5 | 63.0 | 45.3 | googledrive |
| SGE-RESNET101 | 42.50m | 168.1 | หน้ากาก rcnn | FPN | 42.1 | 63.7 | 46.1 | googledrive |
| resnet101 | 42.50m | 167.9 | เรียงซ้อน rcnn | FPN | 42.6 | 60.9 | 46.4 | googledrive |
| SE-RESNET101 | 47.28m | 168.3 | เรียงซ้อน rcnn | FPN | 43.4 | 62.2 | 47.2 | googledrive |
| SGE-RESNET101 | 42.50m | 168.1 | เรียงซ้อน rcnn | FPN | 44.4 | 63.2 | 48.4 | googledrive |
โปรดทราบว่ารุ่นต่อไปนี้มีอคติ WD = 0
| แบบอย่าง | ท็อป 1 | การดาวน์โหลด |
|---|---|---|
| WS-RESNET50 | 76.74 | googledrive |
| WS-RESNET50 (E = 1E-3) | 76.86 | googledrive |
| WS-RESNET101 | 78.07 | googledrive |
| WS-RESNET101 (E = 1E-6) | 78.29 | googledrive |
| WS-RESNEXT50 (E = 1E-3) | 77.88 | googledrive |
| WS-RESNEXT101 (E = 1E-3) | 78.80 | googledrive |
| WS-DENSENET201 (E = 1E-8) | 77.59 | googledrive |
| WS-ShuffLenetv1 (E = 1E-8) | 68.09 | googledrive |
| WS-ShuffLenetv2 (E = 1E-8) | 69.70 | googledrive |
| WS-MOBILENETV1 (E = 1E-6) | 73.60 | googledrive |
หากคุณพบว่างานที่เกี่ยวข้องของเรามีประโยชน์ในการวิจัยของคุณโปรดพิจารณาอ้างถึงบทความ:
@inproceedings{li2019selective,
title={Selective Kernel Networks},
author={Li, Xiang and Wang, Wenhai and Hu, Xiaolin and Yang, Jian},
journal={IEEE Conference on Computer Vision and Pattern Recognition},
year={2019}
}
@inproceedings{li2019spatial,
title={Spatial Group-wise Enhance: Enhancing Semantic Feature Learning in Convolutional Networks},
author={Li, Xiang and Hu, Xiaolin and Xia, Yan and Yang, Jian},
journal={arXiv preprint arXiv:1905.09646},
year={2019}
}
@inproceedings{li2019understanding,
title={Understanding the Disharmony between Weight Normalization Family and Weight Decay: e-shifted L2 Regularizer},
author={Li, Xiang and Chen, Shuo and Yang, Jian},
journal={arXiv preprint arXiv:},
year={2019}
}
@inproceedings{li2019generalization,
title={Generalization Bound Regularizer: A Unified Framework for Understanding Weight Decay},
author={Li, Xiang and Chen, Shuo and Gong, Chen and Xia, Yan and Yang, Jian},
journal={arXiv preprint arXiv:},
year={2019}
}
