Switchable Normalization

전환 가능한 정규화

전환 가능한 정규화는 심층 신경 네트워크에서 다른 정규화 층에 대해 다른 정규화 층에 대해 서로 다른 정규화 작업을 학습 할 수있는 정규화 기술입니다.

업데이트

• 2019/3/21 : 분산 교육 프레임 워크 및 얼굴 인식 프레임 워크 출시. 또한 세분화 및 감지와 같은 작은 배치 작업을 위해 SyncBN 및 SyncSN 의 Pytorch 구현을 출시합니다. SYNCBN 및 SYNCSN 에 대한 자세한 내용은이를 참조하십시오.
• 2018/7/27 : RESNET50+SN (8,1) 및 SN (8,4)의 사전 상사 모델이 출시되었습니다. 이 모델은 대상 작업의 배치 크기가 작아진 것으로 제한 될 때 미세 조정 단계에서 도움이 될 수 있습니다. 또한 ImageNet에서 78.81%/94.16% Top-1/Top-5 정확도를 달성하는 Resnet101v2+SN의 사전에 사전 된 모델을 해제합니다. 더 사기꾼 모델이 곧 출시 될 예정입니다!
• 2018/7/26 : 객체 감지 코드는 Switchnorm_detection의 저장소에서 릴리스되었습니다.
• 2018/7/9 : SN의 장점을 설명하고 싶습니다. HTML 미리보기 또는이 블로그 (중국어)를 참조하십시오.
• 2018/7/4 : 모델 동물원 업데이트!
• 2018/7/2 : 이미지 분류 코드 및 Imagenet의 사전 제한 모델이 출시됩니다.

소환

이 저장소는 전환 가능한 정규화로 훈련 된 ImageNet 분류 결과 및 모델을 제공합니다. 연구에서 SN을 사용하는 경우 다음 논문을 인용하는 것이 좋습니다.

 @article{SwitchableNorm,
  title={Differentiable Learning-to-Normalize via Switchable Normalization},
  author={Ping Luo and Jiamin Ren and Zhanglin Peng and Ruimao Zhang and Jingyu Li},
  journal={International Conference on Learning Representation (ICLR)},
  year={2019}
}

결과 개요

Imagenet의 이미지 분류

다른 배치 크기 설정에서 SN, BN 및 GN으로 훈련 된 RESNET50을 사용하여 Imagenet의 검증 세트에서 상위 1 정확도의 비교 . 브래킷 (·, ·)은 (#GPU, GPU 당 샘플 샘플)를 나타냅니다. 하단 부분에서 "GN-BN"은 GN과 BN의 정확성의 차이를 나타냅니다. BN의 (8, 1)의“-”는 그것이 수렴되지 않음을 나타냅니다.

	(8,32)	(8,16)	(8,8)	(8,4)	(8,2)	(1,16)	(1,32)	(8,1)	(1,8)
Bn	76.4	76.3	75.2	72.7	65.3	76.2	76.5	-	75.4
GN	75.9	75.8	76.0	75.8	75.9	75.9	75.8	75.5	75.5
Sn	76.9	76.7	76.7	75.9	75.6	76.3	76.6	75.0 *	75.9
GN - BN	-0.5	-0.5	0.8	3.1	10.6	-0.3	-0.7	-	0.1
sn - bn	0.5	0.4	1.5	3.2	10.3	0.1	0.1	-	0.5
sn - gn	1.0	0.9	0.7	0.1	-0.3	0.4	0.8	-0.5	0.4

*(8,1)의 경우, BN은 훈련에서와 동일하기 때문에 (8,1), BN이없는 LN을 함유하고 LN을 함유합니다.

모델 동물원

우리는 Imagenet에서 SN으로 사전에 걸린 모델을 제공하고 참조로서 BN과 함께 사전에 걸린 것과 비교합니다. 이 모델을 연구에서 사용하는 경우 SN 논문을 인용하십시오. Sn의 구성은 (#gpus, #images 당 gpu)로 표시됩니다.

모델	상위 1 *	상위 5 *	에포크	LR 스케줄러	체중 부패	다운로드
RESNET101V2+SN (8,32)	78.81%	94.16%	120	워밍업 + 코사인 LR	1E-4	[구글 드라이브] [바이두 팬]
RESNET101V1+SN (8,32)	78.54%	94.10%	120	워밍업 + 코사인 LR	1E-4	[구글 드라이브] [바이두 팬]
RESNET50V2+SN (8,32)	77.57%	93.65%	120	워밍업 + 코사인 LR	1E-4	[구글 드라이브] [바이두 팬]
RESNET50V1+SN (8,32)	77.49%	93.32%	120	워밍업 + 코사인 LR	1E-4	[구글 드라이브] [바이두 팬]
RESNET50V1+SN (8,32)	76.92%	93.26%	100	초기 LR = 0.1 Decay = 0.1 단계 [30,60,90,10]	1E-4	[구글 드라이브] [바이두 팬]
RESNET50V1+SN (8,4)	75.85%	92.7%	100	초기 LR = 0.0125 DECAY = 0.1 단계 [30,60,90,10]	1E-4	[구글 드라이브] [바이두 팬]
RESNET50V1+SN (8,1) †	75.94%	92.7%	100	초기 LR = 0.003125 DECAY = 0.1 단계 [30,60,90,10]	1E-4	[구글 드라이브] [바이두 팬]
RESNET50V1+BN	75.20%	92.20%	-	단계별 붕괴	-	[Tensorflow 모델]
RESNET50V1+BN	76.00%	92.98%	-	단계별 붕괴	-	[Pytorch Vision]
RESNET50V1+BN	75.30%	92.20%	-	단계별 붕괴	-	[MSRA]
RESNET50V1+BN	75.99%	92.98%	-	단계별 붕괴	-	[FB 토치]

*Imagenet의 단일 크롭 검증 정확도 (짧은면 = 256을 가진 크기 조정 이미지의 224x224 센터 작물)

† (8,1)의 경우, BN은 훈련에서와 동일하기 때문에 BN이없는 LN 및 LN을 함유합니다. 이 모델을 사용할 때는 YAML 파일에서 using_bn : False 추가해야합니다.

특허

이 저장소의 모든 자료는 CC-By-NC 4.0 라이센스에 따라 해제됩니다.