Switchable Normalization

可切換歸一化

可切換歸一化是一種歸一化技術，能夠以端到端的方式以深層神經網絡學習不同的歸一化層的不同歸一化操作。

更新

• 2019/3/21：發布分佈式培訓框架和麵部識別框架。我們還發布了Syncbn和Syncsn的Pytorch實現，以進行小批次任務，例如分割和檢測。有關Syncbn和Syncsn的更多詳細信息可以參考這一點。
• 2018/7/27：已釋放了RESNET50+SN（8,1）和SN（8,4）的驗證型號。當目標任務的批處理大小限制為小時，這些模型可能有助於在填充階段。我們還發布了在Imagenet上獲得78.81％/94.16％Top-1/top-5精確度的RESNET101V2+SN的驗證模型。更久的模型將很快發布！
• 2018/7/26：對象檢測代碼已在switchnorm_detection的存儲庫中發布。
• 2018/7/9：我們想解釋SN背後的功績。請參閱HTML預覽或此博客（中文）。
• 2018/7/4：模型動物園更新了！
• 2018/7/2：釋放圖像分類的代碼和驗證的模型。

引用

該存儲庫提供了具有可切換歸一化的訓練的成像網分類結果和模型。如果您在研究中使用SN，則鼓勵您引用以下論文。

 @article{SwitchableNorm,
  title={Differentiable Learning-to-Normalize via Switchable Normalization},
  author={Ping Luo and Jiamin Ren and Zhanglin Peng and Ruimao Zhang and Jingyu Li},
  journal={International Conference on Learning Representation (ICLR)},
  year={2019}
}

結果概述

Imagenet中的圖像分類

通過在不同批次尺寸設置中使用經過SN，BN和GN訓練的RESNET50，在Imagenet驗證集上的TOP-1精度進行比較。括號（·，·）表示（＃gpus，＃samples per gpu）。在底部，“ GN-BN”表示GN和BN的精度之間的差異。 BN的“ - ”（8，1）表示它不收斂。

	（8,32）	（8,16）	（8,8）	（8,4）	（8,2）	（1,16）	（1,32）	（8,1）	（1,8）
BN	76.4	76.3	75.2	72.7	65.3	76.2	76.5	-	75.4
GN	75.9	75.8	76.0	75.8	75.9	75.9	75.8	75.5	75.5
sn	76.9	76.7	76.7	75.9	75.6	76.3	76.6	75.0 *	75.9
Gn -bn	-0.5	-0.5	0.8	3.1	10.6	-0.3	-0.7	-	0.1
sn -bn	0.5	0.4	1.5	3.2	10.3	0.1	0.1	-	0.5
sn -gn	1.0	0.9	0.7	0.1	-0.3	0.4	0.8	-0.5	0.4

*對於（8,1），SN包含在沒有BN的LN中，因為BN與在訓練中相同。

模型動物園

我們提供了在Imagenet上預估計的模型，並與以BN為參考鑑定的模型相比。如果您在研究中使用這些模型，請引用SN紙。 SN的配置表示為（#gpus，#images per gpu）。

模型	top-1 *	前5個*	時代	LR調度程序	重量衰減	下載
resnet101v2+sn（8,32）	78.81％	94.16％	120	熱身 +餘弦LR	1E-4	[Google Drive] [Baidu Pan]
resnet101v1+sn（8,32）	78.54％	94.10％	120	熱身 +餘弦LR	1E-4	[Google Drive] [Baidu Pan]
resnet50v2+sn（8,32）	77.57％	93.65％	120	熱身 +餘弦LR	1E-4	[Google Drive] [Baidu Pan]
RESNET50V1+SN（8,32）	77.49％	93.32％	120	熱身 +餘弦LR	1E-4	[Google Drive] [Baidu Pan]
RESNET50V1+SN（8,32）	76.92％	93.26％	100	初始LR = 0.1衰減= 0.1步[30,60,90,10]	1E-4	[Google Drive] [Baidu Pan]
resnet50v1+sn（8,4）	75.85％	92.7％	100	初始LR = 0.0125衰減= 0.1步[30,60,90,10]	1E-4	[Google Drive] [Baidu Pan]
resnet50v1+sn（8,1） †	75.94％	92.7％	100	初始LR = 0.003125衰減= 0.1步[30,60,90,10]	1E-4	[Google Drive] [Baidu Pan]
RESNET50V1+BN	75.20％	92.20％	- -	逐步衰減	- -	[TensorFlow模型]
RESNET50V1+BN	76.00％	92.98％	- -	逐步衰減	- -	[Pytorch Vision]
RESNET50V1+BN	75.30％	92.20％	- -	逐步衰減	- -	[MSRA]
RESNET50V1+BN	75.99％	92.98％	- -	逐步衰減	- -	[FB火炬]

*ImageNet上的單作驗證精度（來自較短側面尺寸圖像的224x224中心作物= 256）

†對於（8,1），SN包含在沒有BN的LN中，因為BN與訓練中的BN相同。使用此模型時，應在yaml文件中添加using_bn : False 。

執照

該存儲庫中的所有材料均根據CC-BY-NC 4.0許可發布。