Beranda>Terkait pemrograman>ular piton
Unduh

Pytorchinsight

Ini adalah lib pytorch dengan arsitektur canggih, model pretrained dan hasil yang diperbarui waktu-nyata.

Repositori ini bertujuan untuk mempercepat kemajuan penelitian pembelajaran yang mendalam, membuat hasil yang dapat direproduksi dan lebih mudah untuk melakukan penelitian, dan di Pytorch.

Termasuk makalah (akan diperbarui):

Model perhatian

  • Senet: Jaringan Squeeze-and-Excitation (kertas)
  • SKNET: Jaringan kernel selektif (kertas)
  • CBAM: Modul Perhatian Blok Konvolusional (Kertas)
  • GCNET: GCNET: Jaringan non-lokal memenuhi jaringan ekskitasi Squeeze dan seterusnya (kertas)
  • BAM: Modul Perhatian Bottleneck (kertas)
  • SGENET: Peningkatan kelompok-bijaksana spasial: Meningkatkan pembelajaran fitur semantik dalam jaringan konvolusional (kertas)
  • SRMNET: SRM: Modul Rekalibrasi Berbasis Gaya untuk Jaringan Saraf Konvolusional (Kertas)

Model yang tidak terpidana

  • Octnet: Jatuhkan satu oktaf: Mengurangi redundansi spasial dalam jaringan saraf konvolusional dengan konvolusi oktaf (kertas)
  • imagenet_tricks.py: tas trik untuk klasifikasi gambar dengan jaringan saraf konvolusional (kertas)
  • Memahami ketidakharmonisan antara keluarga normalisasi berat badan dan pembusukan berat badan: pengatur reguler E-shifted (muncul)
  • Generalisasi Bound Regregetizer: Kerangka kerja terpadu untuk memahami pembusukan berat badan (untuk muncul)
  • Mixup: Di luar minimalisasi risiko empiris (kertas)
  • Cutmix: Strategi regularisasi untuk melatih pengklasifikasi yang kuat dengan fitur yang dapat dilokalkan (kertas)

Model dan tabel kinerja terlatih

Kesalahan validasi tanaman tunggal pada imagenet-1k (tengah 224x224 tanaman dari gambar yang diubah ukuran dengan sisi yang lebih pendek = 256).

Pengaturan Pelatihan Klasifikasi untuk Media dan Model Besar
Detail Acak, random, acakhorizontalflip; 0,1 init LR, total 100 zaman, peluruhan di setiap 30 zaman; SGD dengan kehilangan entropi softmax softmax naif, 1E-4 bobot peluruhan, 0,9 momentum, 8 GPU, 32 gambar per gpu
Contoh Resnet50
Catatan Kode terbaru menambahkan satu operasi default: Mengatur semua bias wd = 0, silakan merujuk ke analisis teoritis "Generalisasi Bound Regregerter: A Unified Framework untuk Memahami Pembusukan Berat Badan" (untuk muncul), dengan demikian akurasi pelatihan dapat sedikit didorong
Pengaturan Pelatihan Klasifikasi untuk Model Seluler/Kecil
Detail Acak, random, acakhorizontalflip; 0,4 init LR, total 300 zaman, 5 zaman pemanasan linier, peluruhan LR cosinus; SGD dengan Loss Entropy Cross Softmax dan Label Smoothing 0,1, 4E-5 Berat Badan Pencegahan pada Bobot Konvisi, 0 BERAT BESAR pada semua bobot lainnya, 0,9 momentum, 8 GPU, 128 gambar per GPU
Contoh Shufflenetv2

Tips Pelatihan & Pengujian Khas:

Model kecil

Shufflenetv2_1x 

 python -m torch.distributed.launch --nproc_per_node=8 imagenet_mobile.py --cos -a shufflenetv2_1x --data /path/to/imagenet1k/ 
--epochs 300 --wd 4e-5 --gamma 0.1 -c checkpoints/imagenet/shufflenetv2_1x --train-batch 128 --opt-level O0 --nowd-bn # Triaing

python -m torch.distributed.launch --nproc_per_node=2 imagenet_mobile.py -a shufflenetv2_1x --data /path/to/imagenet1k/ 
-e --resume ../pretrain/shufflenetv2_1x.pth.tar --test-batch 100 --opt-level O0 # Testing, ~69.6% top-1 Acc

Model besar

SGE-resnet 

 python -W ignore imagenet.py -a sge_resnet101 --data /path/to/imagenet1k/ --epochs 100 --schedule 30 60 90 
--gamma 0.1 -c checkpoints/imagenet/sge_resnet101 --gpu-id 0,1,2,3,4,5,6,7 # Training

python -m torch.distributed.launch --nproc_per_node=8 imagenet_fast.py -a sge_resnet101 --data /path/to/imagenet1k/  
--epochs 100 --schedule 30 60 90 --wd 1e-4 --gamma 0.1 -c checkpoints/imagenet/sge_resnet101 --train-batch 32  
--opt-level O0 --wd-all --label-smoothing 0. --warmup 0 # Training (faster) 

 python -W ignore imagenet.py -a sge_resnet101 --data /path/to/imagenet1k/ --gpu-id 0,1 -e --resume ../pretrain/sge_resnet101.pth.tar 
# Testing ~78.8% top-1 Acc

python -m torch.distributed.launch --nproc_per_node=2 imagenet_fast.py -a sge_resnet101 --data /path/to/imagenet1k/ -e --resume 
../pretrain/sge_resnet101.pth.tar --test-batch 100 --opt-level O0 # Testing (faster) ~78.8% top-1 Acc

WS-RESNET DENGAN REGURGORER L2 SHIFTED E-SHIFTED, E = 1E-3 

 python -m torch.distributed.launch --nproc_per_node=8 imagenet_fast.py -a ws_resnet50 --data /share1/public/public/imagenet1k/ 
--epochs 100 --schedule 30 60 90 --wd 1e-4 --gamma 0.1 -c checkpoints/imagenet/es1e-3_ws_resnet50 --train-batch 32 
--opt-level O0 --label-smoothing 0. --warmup 0 --nowd-conv --mineps 1e-3 --el2

Hasil "SGENET: Peningkatan Kelompok-SPATIAL: Meningkatkan pembelajaran fitur semantik dalam jaringan konvolusional"

Perhatikan hasil berikut (lama) jangan atur bias wd = 0 untuk model besar

Klasifikasi

Model #P Gflops Top-1 Acc Top-5 Acc Download1 Download2 log
Shufflenetv2_1x 2.28m 0.151 69.6420 88.7200 Googledrive shufflenetv2_1x.log
Resnet50 25.56m 4.122 76.3840 92.9080 Baidudrive (Zuvx) Googledrive old_resnet50.log
SE-RESNET50 28.09m 4.130 77.1840 93.6720
SK-resnet50* 26.15m 4.185 77.5380 93.7000 Baidudrive (TFWN) Googledrive sk_resnet50.log
BAM-RESNET50 25.92m 4.205 76.8980 93.4020 Baidudrive (Z0H3) Googledrive bam_resnet50.log
CBAM-RESNET50 28.09m 4.139 77.6260 93.6600 Baidudrive (Bram) Googledrive cbam_resnet50.log
SGE-RESNET50 25.56m 4.127 77.5840 93.6640 Baidudrive (GXO9) Googledrive sge_resnet50.log
Resnet101 44.55m 7.849 78.2000 93.9060 Baidudrive (JS5T) Googledrive old_resnet101.log
SE-RESNET101 49.33m 7.863 78.4680 94.1020 Baidudrive (J2OX) Googledrive SE_RESNET101.LOG
SK-resnet101* 45.68m 7.978 78.7920 94.2680 Baidudrive (BOII) Googledrive sk_resnet101.log
BAM-RESNET101 44.91m 7.933 78.2180 94.0180 Baidudrive (4BW6) Googledrive bam_resnet101.log
CBAM-RESNET101 49.33m 7.879 78.3540 94.0640 Baidudrive (SYJ3) Googledrive cbam_resnet101.log
SGE-RESNET101 44.55m 7.858 78.7980 94.3680 Baidudrive (WQN6) Googledrive sge_resnet101.log

Di sini SK-Resnet* adalah versi yang dimodifikasi (untuk perbandingan yang lebih adil dengan Backbone Resnet di sini) dari Sknet asli. SKNET asli berkinerja lebih kuat, dan versi Pytorch dapat dirujuk dalam ppplang-sknet.

Deteksi

Model #P Gflops Detektor Leher AP50: 95 (%) AP50 (%) AP75 (%) Unduh
Resnet50 23.51m 88.0 RCNN lebih cepat FPN 37.5 59.1 40.6 Googledrive
SGE-RESNET50 23.51m 88.1 RCNN lebih cepat FPN 38.7 60.8 41.7 Googledrive
Resnet50 23.51m 88.0 Topeng RCNN FPN 38.6 60.0 41.9 Googledrive
SGE-RESNET50 23.51m 88.1 Topeng RCNN FPN 39.6 61.5 42.9 Googledrive
Resnet50 23.51m 88.0 Cascade rcnn FPN 41.1 59.3 44.8 Googledrive
SGE-RESNET50 23.51m 88.1 Cascade rcnn FPN 42.6 61.4 46.2 Googledrive
Resnet101 42.50m 167.9 RCNN lebih cepat FPN 39.4 60.7 43.0 Googledrive
SE-RESNET101 47.28m 168.3 RCNN lebih cepat FPN 40.4 61.9 44.2 Googledrive
SGE-RESNET101 42.50m 168.1 RCNN lebih cepat FPN 41.0 63.0 44.3 Googledrive
Resnet101 42.50m 167.9 Topeng RCNN FPN 40.4 61.6 44.2 Googledrive
SE-RESNET101 47.28m 168.3 Topeng RCNN FPN 41.5 63.0 45.3 Googledrive
SGE-RESNET101 42.50m 168.1 Topeng RCNN FPN 42.1 63.7 46.1 Googledrive
Resnet101 42.50m 167.9 Cascade rcnn FPN 42.6 60.9 46.4 Googledrive
SE-RESNET101 47.28m 168.3 Cascade rcnn FPN 43.4 62.2 47.2 Googledrive
SGE-RESNET101 42.50m 168.1 Cascade rcnn FPN 44.4 63.2 48.4 Googledrive

Hasil "Memahami Ketidakharmonisan Antara Normalisasi Berat Badan dan Kerusakan Berat Badan: E-shifted L2 Regregunizer"

Perhatikan bahwa model berikut ini dengan bias WD = 0.

Klasifikasi

Model Top-1 Unduh
WS-RESNET50 76.74 Googledrive
WS-RESNET50 (E = 1E-3) 76.86 Googledrive
WS-RESNET101 78.07 Googledrive
WS-RESNET101 (E = 1E-6) 78.29 Googledrive
WS-RESNEXT50 (E = 1E-3) 77.88 Googledrive
WS-RESNEXT101 (E = 1E-3) 78.80 Googledrive
WS-DENSENET201 (E = 1E-8) 77.59 Googledrive
Ws-shufflenetv1 (e = 1e-8) 68.09 Googledrive
Ws-shufflenetv2 (e = 1e-8) 69.70 Googledrive
WS-MobileNetv1 (E = 1E-6) 73.60 Googledrive

Hasil "Generalisasi Bound Regregetizer: Kerangka Kerja Terpadu untuk Memahami Breade Decay"

Untuk muncul

Kutipan

Jika Anda menemukan karya terkait kami yang berguna dalam penelitian Anda, silakan pertimbangkan mengutip makalah ini: 

 @inproceedings{li2019selective,
  title={Selective Kernel Networks},
  author={Li, Xiang and Wang, Wenhai and Hu, Xiaolin and Yang, Jian},
  journal={IEEE Conference on Computer Vision and Pattern Recognition},
  year={2019}
}

@inproceedings{li2019spatial,
  title={Spatial Group-wise Enhance: Enhancing Semantic Feature Learning in Convolutional Networks},
  author={Li, Xiang and Hu, Xiaolin and Xia, Yan and Yang, Jian},
  journal={arXiv preprint arXiv:1905.09646},
  year={2019}
}

@inproceedings{li2019understanding,
  title={Understanding the Disharmony between Weight Normalization Family and Weight Decay: e-shifted L2 Regularizer},
  author={Li, Xiang and Chen, Shuo and Yang, Jian},
  journal={arXiv preprint arXiv:},
  year={2019}
}

@inproceedings{li2019generalization,
  title={Generalization Bound Regularizer: A Unified Framework for Understanding Weight Decay},
  author={Li, Xiang and Chen, Shuo and Gong, Chen and Xia, Yan and Yang, Jian},
  journal={arXiv preprint arXiv:},
  year={2019}
}
Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua