PytorchInsight
1.0.0
Este é um Lib Pytorch com arquiteturas de última geração, modelos pré-treinados e resultados atualizados em tempo real.
Esse repositório visa acelarar o avanço da pesquisa de aprendizado profundo, fazer resultados reproduzíveis e mais fácil para fazer pesquisas e em Pytorch.
- Senet: redes de aperto e excitação (papel)
- Sknet: redes seletivas de kernel (papel)
- CBAM: Módulo Convolucional Block Atenção (papel)
- GCNET: GCNET: Redes não locais atendem às redes de excitação de Squeeze e além (papel)
- BAM: Módulo de atenção de gargalo (papel)
- SGENET: Spatial Group-Wise aprimora: aprimorando o aprendizado de recursos semânticos em redes convolucionais (papel)
- SRMNET: SRM: Um módulo de recalibração baseado em estilo para redes neurais convolucionais (papel)
- OCTNET: solte uma oitava: reduzindo a redundância espacial em redes neurais convolucionais com convolução de oitava (papel)
- ImageNet_tricks.py: Saco de truques para classificação de imagem com redes neurais convolucionais (papel)
- Compreendendo a desarmonia entre a família de normalização do peso e a decaimento do peso: Localizador L2 com deslocamento eletrônico (para aparecer)
- Legalizer limite de generalização: uma estrutura unificada para entender a decaimento do peso (para aparecer)
- Mistura: além da minimização de riscos empíricos (papel)
- Cutmix: estratégia de regularização para treinar classificadores fortes com recursos localizáveis (papel)
Erro de validação de colheita única no ImageNet-1K (colheita central 224x224 da imagem redimensionada com lado mais curto = 256).
| Configurações de treinamento de classificação para mídia e modelos grandes | |
|---|---|
| Detalhes | RandomEdResizedcrop, RandomHorizontalflip; 0,1 init LR, total de 100 épocas, decaimento a cada 30 épocas; SGD com perda ingênua de entropia cruzada softmax, 1e-4 decaimento de peso, 0,9 momento, 8 GPUs, 32 imagens por GPU |
| Exemplos | Resnet50 |
| Observação | O código mais recente adiciona uma operação padrão: definindo todos os viés wd = 0, consulte a análise teórica do "regularizador de generalização limite: uma estrutura unificada para entender o decaimento do peso" (para aparecer), assim a precisão do treinamento pode ser ligeiramente aumentada |
| Configurações de treinamento de classificação para modelos móveis/pequenos | |
|---|---|
| Detalhes | RandomEdResizedcrop, RandomHorizontalflip; 0,4 init LR, total de 300 épocas, 5 épocas lineares de aquecimento, decaimento cosseno LR; SGD com perda de entropia cruzada Softmax e suavização de rótulos 0,1, 4E-5 de decaimento de peso em pesos conv, 0 decaimento de peso em todos os outros pesos, 0,9 momento, 8 GPUs, 128 imagens por GPU |
| Exemplos | Shufflenetv2 |
python -m torch.distributed.launch --nproc_per_node=8 imagenet_mobile.py --cos -a shufflenetv2_1x --data /path/to/imagenet1k/
--epochs 300 --wd 4e-5 --gamma 0.1 -c checkpoints/imagenet/shufflenetv2_1x --train-batch 128 --opt-level O0 --nowd-bn # Triaing
python -m torch.distributed.launch --nproc_per_node=2 imagenet_mobile.py -a shufflenetv2_1x --data /path/to/imagenet1k/
-e --resume ../pretrain/shufflenetv2_1x.pth.tar --test-batch 100 --opt-level O0 # Testing, ~69.6% top-1 Acc
python -W ignore imagenet.py -a sge_resnet101 --data /path/to/imagenet1k/ --epochs 100 --schedule 30 60 90
--gamma 0.1 -c checkpoints/imagenet/sge_resnet101 --gpu-id 0,1,2,3,4,5,6,7 # Training
python -m torch.distributed.launch --nproc_per_node=8 imagenet_fast.py -a sge_resnet101 --data /path/to/imagenet1k/
--epochs 100 --schedule 30 60 90 --wd 1e-4 --gamma 0.1 -c checkpoints/imagenet/sge_resnet101 --train-batch 32
--opt-level O0 --wd-all --label-smoothing 0. --warmup 0 # Training (faster)
python -W ignore imagenet.py -a sge_resnet101 --data /path/to/imagenet1k/ --gpu-id 0,1 -e --resume ../pretrain/sge_resnet101.pth.tar
# Testing ~78.8% top-1 Acc
python -m torch.distributed.launch --nproc_per_node=2 imagenet_fast.py -a sge_resnet101 --data /path/to/imagenet1k/ -e --resume
../pretrain/sge_resnet101.pth.tar --test-batch 100 --opt-level O0 # Testing (faster) ~78.8% top-1 Acc
python -m torch.distributed.launch --nproc_per_node=8 imagenet_fast.py -a ws_resnet50 --data /share1/public/public/imagenet1k/
--epochs 100 --schedule 30 60 90 --wd 1e-4 --gamma 0.1 -c checkpoints/imagenet/es1e-3_ws_resnet50 --train-batch 32
--opt-level O0 --label-smoothing 0. --warmup 0 --nowd-conv --mineps 1e-3 --el2
Observe os seguintes resultados (antigo) não defina o viés wd = 0 para modelos grandes
| Modelo | #P | GFLOPS | Top-1 acc | Top 5 ACC | Download1 | Download2 | registro |
|---|---|---|---|---|---|---|---|
| Shufflenetv2_1x | 2,28m | 0,151 | 69.6420 | 88.7200 | Googledrive | shufflenetv2_1x.log | |
| Resnet50 | 25,56m | 4.122 | 76.3840 | 92.9080 | Baidudrive (Zuvx) | Googledrive | Old_resnet50.log |
| SE-RESNET50 | 28.09m | 4.130 | 77.1840 | 93.6720 | |||
| SK-RESNET50* | 26.15m | 4.185 | 77.5380 | 93.7000 | Baidudrive (TFWN) | Googledrive | sk_resnet50.log |
| BAM-RESNET50 | 25,92m | 4.205 | 76.8980 | 93.4020 | Baidudrive (Z0H3) | Googledrive | bam_resnet50.log |
| CBAM-RESNET50 | 28.09m | 4.139 | 77.6260 | 93.6600 | Baidudrive (Bram) | Googledrive | cbam_resnet50.log |
| SGE-RESNET50 | 25,56m | 4.127 | 77.5840 | 93.6640 | Baidudrive (GXO9) | Googledrive | sge_resnet50.log |
| Resnet101 | 44,55m | 7.849 | 78.2000 | 93.9060 | Baidudrive (JS5T) | Googledrive | Old_resnet101.log |
| SE-RESNET101 | 49.33m | 7.863 | 78.4680 | 94.1020 | Baidudrive (J2ox) | Googledrive | SE_RESNET101.LOG |
| SK-Resnet101* | 45.68m | 7.978 | 78.7920 | 94.2680 | Baidudrive (boii) | Googledrive | sk_resnet101.log |
| BAM-RESNET101 | 44.91m | 7.933 | 78.2180 | 94.0180 | Baidudrive (4bw6) | Googledrive | bam_resnet101.log |
| CBAM-RESNET101 | 49.33m | 7.879 | 78.3540 | 94.0640 | Baidudrive (Syj3) | Googledrive | cbam_resnet101.log |
| SGE-RESNET101 | 44,55m | 7.858 | 78.7980 | 94.3680 | Baidudrive (WQN6) | Googledrive | sge_resnet101.log |
Aqui SK-RESNET* é uma versão modificada (para uma comparação mais justa com o Backbone Resnet aqui) do SkNet original. As sknets originais têm um desempenho mais forte e a versão pytorch pode ser referida no ppplang-sknet.
| Modelo | #p | GFLOPS | Detector | Pescoço | AP50: 95 (%) | AP50 (%) | AP75 (%) | Download |
|---|---|---|---|---|---|---|---|---|
| Resnet50 | 23.51m | 88.0 | RCNN mais rápido | FPN | 37.5 | 59.1 | 40.6 | Googledrive |
| SGE-RESNET50 | 23.51m | 88.1 | RCNN mais rápido | FPN | 38.7 | 60.8 | 41.7 | Googledrive |
| Resnet50 | 23.51m | 88.0 | Máscara rcnn | FPN | 38.6 | 60.0 | 41.9 | Googledrive |
| SGE-RESNET50 | 23.51m | 88.1 | Máscara rcnn | FPN | 39.6 | 61.5 | 42.9 | Googledrive |
| Resnet50 | 23.51m | 88.0 | Cascade Rcnn | FPN | 41.1 | 59.3 | 44.8 | Googledrive |
| SGE-RESNET50 | 23.51m | 88.1 | Cascade Rcnn | FPN | 42.6 | 61.4 | 46.2 | Googledrive |
| Resnet101 | 42,50m | 167.9 | RCNN mais rápido | FPN | 39.4 | 60.7 | 43.0 | Googledrive |
| SE-RESNET101 | 47,28m | 168.3 | RCNN mais rápido | FPN | 40.4 | 61.9 | 44.2 | Googledrive |
| SGE-RESNET101 | 42,50m | 168.1 | RCNN mais rápido | FPN | 41.0 | 63.0 | 44.3 | Googledrive |
| Resnet101 | 42,50m | 167.9 | Máscara rcnn | FPN | 40.4 | 61.6 | 44.2 | Googledrive |
| SE-RESNET101 | 47,28m | 168.3 | Máscara rcnn | FPN | 41.5 | 63.0 | 45.3 | Googledrive |
| SGE-RESNET101 | 42,50m | 168.1 | Máscara rcnn | FPN | 42.1 | 63.7 | 46.1 | Googledrive |
| Resnet101 | 42,50m | 167.9 | Cascade Rcnn | FPN | 42.6 | 60.9 | 46.4 | Googledrive |
| SE-RESNET101 | 47,28m | 168.3 | Cascade Rcnn | FPN | 43.4 | 62.2 | 47.2 | Googledrive |
| SGE-RESNET101 | 42,50m | 168.1 | Cascade Rcnn | FPN | 44.4 | 63.2 | 48.4 | Googledrive |
Observe que os seguintes modelos são com viés wd = 0.
| Modelo | Top-1 | Download |
|---|---|---|
| WS-RESNET50 | 76.74 | Googledrive |
| WS-Resnet50 (e = 1e-3) | 76.86 | Googledrive |
| WS-Resnet101 | 78.07 | Googledrive |
| WS-Resnet101 (e = 1e-6) | 78.29 | Googledrive |
| WS-RESNEXT50 (e = 1e-3) | 77.88 | Googledrive |
| WS-RESNEXT101 (E = 1E-3) | 78.80 | Googledrive |
| Ws-densenet201 (e = 1e-8) | 77.59 | Googledrive |
| Ws-shufflenetv1 (e = 1e-8) | 68.09 | Googledrive |
| Ws-shuffleNetv2 (e = 1e-8) | 69.70 | Googledrive |
| WS-MobileNetv1 (e = 1e-6) | 73.60 | Googledrive |
Se você achar nossos trabalhos relacionados úteis em sua pesquisa, considere citar o artigo:
@inproceedings{li2019selective,
title={Selective Kernel Networks},
author={Li, Xiang and Wang, Wenhai and Hu, Xiaolin and Yang, Jian},
journal={IEEE Conference on Computer Vision and Pattern Recognition},
year={2019}
}
@inproceedings{li2019spatial,
title={Spatial Group-wise Enhance: Enhancing Semantic Feature Learning in Convolutional Networks},
author={Li, Xiang and Hu, Xiaolin and Xia, Yan and Yang, Jian},
journal={arXiv preprint arXiv:1905.09646},
year={2019}
}
@inproceedings{li2019understanding,
title={Understanding the Disharmony between Weight Normalization Family and Weight Decay: e-shifted L2 Regularizer},
author={Li, Xiang and Chen, Shuo and Yang, Jian},
journal={arXiv preprint arXiv:},
year={2019}
}
@inproceedings{li2019generalization,
title={Generalization Bound Regularizer: A Unified Framework for Understanding Weight Decay},
author={Li, Xiang and Chen, Shuo and Gong, Chen and Xia, Yan and Yang, Jian},
journal={arXiv preprint arXiv:},
year={2019}
}
