PytorchInsight下载PytorchInsight源代码下载

PytorchInsight

Python

1.0.0

下载

Pytorchinsight

这是一个带有最先进的体系结构，验证模型和实时更新结果的Pytorch Lib。

该存储库旨在加快深度学习研究的进步，可再现的结果并更容易进行研究，以及在Pytorch中。

包括论文（要更新）：

注意模型

SENET：挤压网络_（纸）
SKNET：选择性内核网络_（纸）
CBAM：卷积块注意模块_（纸）
GCNET：GCNET：非本地网络符合挤压兴奋网络及以后的_（纸）
BAM：瓶颈注意模块_（纸）
SGenet：空间群体的增强：增强卷积网络中的语义特征学习_（纸）
SRMNET：SRM：用于卷积神经网络的基于样式的重新校准模块_（纸）

非注意模型

八度：掉落八度：降低具有八度卷积的卷积神经网络中的空间冗余_（纸）
imagenet_tricks.py：卷积神经网络的图像分类的技巧包_（纸）
了解重量标准化家庭与体重衰减之间的不和谐：电子换档的L2正常器_（出现）
概括约束器：理解重量衰减的统一框架_（出现）
混合：超出经验风险最小化_（纸）
cutmix：正规化策略，以培训具有可本质功能的强分类器_（纸）

训练有素的模型和性能表

Imagenet-1k上的单作物验证误差（中心224x224量大图像，较短的一侧= 256）。

	媒体和大型模型的分类培训设置
细节	Randomresized Crop，Randomhorizontalflip; 0.1 Init LR，总共100个时期，每30个时期衰减；具有幼稚的软马克斯横熵损失的SGD，1E-4重量衰减，0.9动量，8 GPU，每GPU 32张图像
例子	RESNET50
笔记	最新的代码添加了一个默认操作：设置所有偏见WD = 0，请参阅“概括约束器：理解重量衰减的统一框架”的理论分析（出现），从而可以稍微提高训练精度

	移动/小型模型的分类培训设置
细节	Randomresized Crop，Randomhorizontalflip; 0.4 Init LR，总计300个时期，5个线性热身时期，余弦LR衰减； SGD具有SoftMax横熵损失和标签平滑0.1，4e-5重量衰减的SGD，所有其他重量的重量衰减，0.9动量，8 GPU，每GPU 128张图像
例子	ShuffLenetV2

典型的培训和测试技巧：

小型型号

shufflenetv2_1x

 python -m torch.distributed.launch --nproc_per_node=8 imagenet_mobile.py --cos -a shufflenetv2_1x --data /path/to/imagenet1k/ 
--epochs 300 --wd 4e-5 --gamma 0.1 -c checkpoints/imagenet/shufflenetv2_1x --train-batch 128 --opt-level O0 --nowd-bn # Triaing

python -m torch.distributed.launch --nproc_per_node=2 imagenet_mobile.py -a shufflenetv2_1x --data /path/to/imagenet1k/ 
-e --resume ../pretrain/shufflenetv2_1x.pth.tar --test-batch 100 --opt-level O0 # Testing, ~69.6% top-1 Acc

大型模型

sge-resnet

 python -W ignore imagenet.py -a sge_resnet101 --data /path/to/imagenet1k/ --epochs 100 --schedule 30 60 90 
--gamma 0.1 -c checkpoints/imagenet/sge_resnet101 --gpu-id 0,1,2,3,4,5,6,7 # Training

python -m torch.distributed.launch --nproc_per_node=8 imagenet_fast.py -a sge_resnet101 --data /path/to/imagenet1k/  
--epochs 100 --schedule 30 60 90 --wd 1e-4 --gamma 0.1 -c checkpoints/imagenet/sge_resnet101 --train-batch 32  
--opt-level O0 --wd-all --label-smoothing 0. --warmup 0 # Training (faster)

 python -W ignore imagenet.py -a sge_resnet101 --data /path/to/imagenet1k/ --gpu-id 0,1 -e --resume ../pretrain/sge_resnet101.pth.tar 
# Testing ~78.8% top-1 Acc

python -m torch.distributed.launch --nproc_per_node=2 imagenet_fast.py -a sge_resnet101 --data /path/to/imagenet1k/ -e --resume 
../pretrain/sge_resnet101.pth.tar --test-batch 100 --opt-level O0 # Testing (faster) ~78.8% top-1 Acc

WS-RESNET，带有E移度的L2正常器，E = 1E-3

 python -m torch.distributed.launch --nproc_per_node=8 imagenet_fast.py -a ws_resnet50 --data /share1/public/public/imagenet1k/ 
--epochs 100 --schedule 30 60 90 --wd 1e-4 --gamma 0.1 -c checkpoints/imagenet/es1e-3_ws_resnet50 --train-batch 32 
--opt-level O0 --label-smoothing 0. --warmup 0 --nowd-conv --mineps 1e-3 --el2

“ SGENET：空间群体增强：增强卷积网络中的语义特征学习”的结果

注意以下结果（旧）未设置大型模型的偏置WD = 0

分类

模型	#P	gflops	TOP-1 ACC	前5个ACC	下载1	下载2	日志
shufflenetv2_1x	228m	0.151	69.6420	88.7200		Googlerive	shufflenetv2_1x.log
RESNET50	25.56m	4.122	76.3840	92.9080	Baidudrive（Zuvx）	Googlerive	old_resnet50.log
SE-RESNET50	28.09m	4.130	77.1840	93.6720
SK-RESNET50*	26.15m	4.185	77.5380	93.7000	Baidudrive（TFWN）	Googlerive	sk_resnet50.log
BAM-RESNET50	25.92m	4.205	76.8980	93.4020	Baidudrive（Z0H3）	Googlerive	BAM_RESNET50.LOG
CBAM-RESNET50	28.09m	4.139	77.6260	93.6600	Baidudrive（Bram）	Googlerive	cbam_resnet50.log
SGE-RESNET50	25.56m	4.127	77.5840	93.6640	Baidudrive（GXO9）	Googlerive	sge_resnet50.log
RESNET101	44.55m	7.849	78.2000	93.9060	Baidudrive（JS5T）	Googlerive	old_resnet101.log
SE-RESNET101	49.33万	7.863	78.4680	94.1020	Baidudrive（J2OX）	Googlerive	SE_RESNET101.LOG
SK-RESNET101*	4568m	7.978	78.7920	94.2680	Baidudrive（BOII）	Googlerive	sk_resnet101.log
BAM-RESNET101	44.91m	7.933	78.2180	94.0180	Baidudrive（4BW6）	Googlerive	BAM_RESNET101.LOG
CBAM-RESNET101	49.33万	7.879	78.3540	94.0640	Baidudrive（SYJ3）	Googlerive	cbam_resnet101.log
SGE-RESNET101	44.55m	7.858	78.7980	94.3680	Baidudrive（WQN6）	Googlerive	sge_resnet101.log

Sk-Resnet*是原始SKNet的修改版本（与Resnet Backbone进行更公平的比较）。原始的Sknets的性能更强，可以在Ppplang-snnet中引用Pytorch版本。

检测

模型	#P	gflops	探测器	脖子	AP50：95（％）	AP50（％）	AP75（％）	下载
RESNET50	23.51m	88.0	更快的rcnn	FPN	37.5	59.1	40.6	Googlerive
SGE-RESNET50	23.51m	88.1	更快的rcnn	FPN	38.7	60.8	41.7	Googlerive
RESNET50	23.51m	88.0	面具rcnn	FPN	38.6	60.0	41.9	Googlerive
SGE-RESNET50	23.51m	88.1	面具rcnn	FPN	39.6	61.5	42.9	Googlerive
RESNET50	23.51m	88.0	级联RCNN	FPN	41.1	59.3	44.8	Googlerive
SGE-RESNET50	23.51m	88.1	级联RCNN	FPN	42.6	61.4	46.2	Googlerive
RESNET101	42.50m	167.9	更快的rcnn	FPN	39.4	60.7	43.0	Googlerive
SE-RESNET101	47.28m	168.3	更快的rcnn	FPN	40.4	61.9	44.2	Googlerive
SGE-RESNET101	42.50m	168.1	更快的rcnn	FPN	41.0	63.0	44.3	Googlerive
RESNET101	42.50m	167.9	面具rcnn	FPN	40.4	61.6	44.2	Googlerive
SE-RESNET101	47.28m	168.3	面具rcnn	FPN	41.5	63.0	45.3	Googlerive
SGE-RESNET101	42.50m	168.1	面具rcnn	FPN	42.1	63.7	46.1	Googlerive
RESNET101	42.50m	167.9	级联RCNN	FPN	42.6	60.9	46.4	Googlerive
SE-RESNET101	47.28m	168.3	级联RCNN	FPN	43.4	62.2	47.2	Googlerive
SGE-RESNET101	42.50m	168.1	级联RCNN	FPN	44.4	63.2	48.4	Googlerive

“了解重量标准化家族与体重衰减之间的不和谐：e-Shifted L2正常器”的结果

请注意，以下模型是偏置WD = 0。

分类

模型	top-1	下载
WS-RESNET50	76.74	Googlerive
WS-RESNET50（E = 1E-3）	76.86	Googlerive
WS-RESNET101	78.07	Googlerive
WS-RESNET101（E = 1E-6）	78.29	Googlerive
WS-Resnext50（E = 1E-3）	77.88	Googlerive
WS-RESNEXT101（E = 1E-3）	78.80	Googlerive
WS-DENSENET201（E = 1E-8）	77.59	Googlerive
ws-shuffenetv1（e = 1e-8）	68.09	Googlerive
ws-shuffenetv2（e = 1e-8）	69.70	Googlerive
WS-MobiLenetV1（E = 1E-6）	73.60	Googlerive

“泛化约束器：理解重量衰减的统一框架”的结果

出现

引用

如果您发现我们的相关作品在您的研究中有用，请考虑引用论文：

 @inproceedings{li2019selective,
  title={Selective Kernel Networks},
  author={Li, Xiang and Wang, Wenhai and Hu, Xiaolin and Yang, Jian},
  journal={IEEE Conference on Computer Vision and Pattern Recognition},
  year={2019}
}

@inproceedings{li2019spatial,
  title={Spatial Group-wise Enhance: Enhancing Semantic Feature Learning in Convolutional Networks},
  author={Li, Xiang and Hu, Xiaolin and Xia, Yan and Yang, Jian},
  journal={arXiv preprint arXiv:1905.09646},
  year={2019}
}

@inproceedings{li2019understanding,
  title={Understanding the Disharmony between Weight Normalization Family and Weight Decay: e-shifted L2 Regularizer},
  author={Li, Xiang and Chen, Shuo and Yang, Jian},
  journal={arXiv preprint arXiv:},
  year={2019}
}

@inproceedings{li2019generalization,
  title={Generalization Bound Regularizer: A Unified Framework for Understanding Weight Decay},
  author={Li, Xiang and Chen, Shuo and Gong, Chen and Xia, Yan and Yang, Jian},
  journal={arXiv preprint arXiv:},
  year={2019}
}

展开

附加信息