Switchable Normalization

可切换归一化

可切换归一化是一种归一化技术，能够以端到端的方式以深层神经网络学习不同的归一化层的不同归一化操作。

更新

• 2019/3/21：发布分布式培训框架和面部识别框架。我们还发布了Syncbn和Syncsn的Pytorch实现，以进行小批次任务，例如分割和检测。有关Syncbn和Syncsn的更多详细信息可以参考这一点。
• 2018/7/27：已释放了RESNET50+SN（8,1）和SN（8,4）的验证型号。当目标任务的批处理大小限制为小时，这些模型可能有助于在填充阶段。我们还发布了在Imagenet上获得78.81％/94.16％Top-1/top-5精确度的RESNET101V2+SN的验证模型。更久的模型将很快发布！
• 2018/7/26：对象检测代码已在switchnorm_detection的存储库中发布。
• 2018/7/9：我们想解释SN背后的功绩。请参阅HTML预览或此博客（中文）。
• 2018/7/4：模型动物园更新了！
• 2018/7/2：释放图像分类的代码和验证的模型。

引用

该存储库提供了具有可切换归一化的训练的成像网分类结果和模型。如果您在研究中使用SN，则鼓励您引用以下论文。

 @article{SwitchableNorm,
  title={Differentiable Learning-to-Normalize via Switchable Normalization},
  author={Ping Luo and Jiamin Ren and Zhanglin Peng and Ruimao Zhang and Jingyu Li},
  journal={International Conference on Learning Representation (ICLR)},
  year={2019}
}

结果概述

Imagenet中的图像分类

通过在不同批次尺寸设置中使用经过SN，BN和GN训练的RESNET50，在Imagenet验证集上的TOP-1精度进行比较。括号（·，·）表示（＃gpus，＃samples per gpu）。在底部，“ GN-BN”表示GN和BN的精度之间的差异。 BN的“ - ”（8，1）表示它不收敛。

	（8,32）	（8,16）	（8,8）	（8,4）	（8,2）	（1,16）	（1,32）	（8,1）	（1,8）
BN	76.4	76.3	75.2	72.7	65.3	76.2	76.5	-	75.4
GN	75.9	75.8	76.0	75.8	75.9	75.9	75.8	75.5	75.5
sn	76.9	76.7	76.7	75.9	75.6	76.3	76.6	75.0 *	75.9
Gn -bn​	-0.5	-0.5	0.8	3.1	10.6	-0.3	-0.7	-	0.1
sn -bn​	0.5	0.4	1.5	3.2	10.3	0.1	0.1	-	0.5
sn -gn​	1.0	0.9	0.7	0.1	-0.3	0.4	0.8	-0.5	0.4

*对于（8,1），SN包含在没有BN的LN中，因为BN与在训练中相同。

模型动物园

我们提供了在Imagenet上预估计的模型，并与以BN为参考鉴定的模型相比。如果您在研究中使用这些模型，请引用SN纸。 SN的配置表示为（#gpus，#images per gpu）。

模型	top-1 *	前5个*	时代	LR调度程序	重量衰减	下载
resnet101v2+sn（8,32）	78.81％	94.16％	120	热身 +余弦LR	1E-4	[Google Drive] [Baidu Pan]
resnet101v1+sn（8,32）	78.54％	94.10％	120	热身 +余弦LR	1E-4	[Google Drive] [Baidu Pan]
resnet50v2+sn（8,32）	77.57％	93.65％	120	热身 +余弦LR	1E-4	[Google Drive] [Baidu Pan]
RESNET50V1+SN（8,32）	77.49％	93.32％	120	热身 +余弦LR	1E-4	[Google Drive] [Baidu Pan]
RESNET50V1+SN（8,32）	76.92％	93.26％	100	初始LR = 0.1衰减= 0.1步[30,60,90,10]	1E-4	[Google Drive] [Baidu Pan]
resnet50v1+sn（8,4）	75.85％	92.7％	100	初始LR = 0.0125衰减= 0.1步[30,60,90,10]	1E-4	[Google Drive] [Baidu Pan]
resnet50v1+sn（8,1） †	75.94％	92.7％	100	初始LR = 0.003125衰减= 0.1步[30,60,90,10]	1E-4	[Google Drive] [Baidu Pan]
RESNET50V1+BN	75.20％	92.20％	- -	逐步衰减	- -	[TensorFlow模型]
RESNET50V1+BN	76.00％	92.98％	- -	逐步衰减	- -	[Pytorch Vision]
RESNET50V1+BN	75.30％	92.20％	- -	逐步衰减	- -	[MSRA]
RESNET50V1+BN	75.99％	92.98％	- -	逐步衰减	- -	[FB火炬]

*ImageNet上的单作验证精度（来自较短侧面尺寸图像的224x224中心作物= 256）

†对于（8,1），SN包含在没有BN的LN中，因为BN与训练中的BN相同。使用此模型时，应在yaml文件中添加using_bn : False 。

执照

该存储库中的所有材料均根据CC-BY-NC 4.0许可发布。