Descarga Switchable Normalization - Descargar el código fuente Switchable Normalization

Switchable Normalization

Pitón

1.0.0

Descargar

Normalización conmutable

La normalización conmutable es una técnica de normalización que puede aprender diferentes operaciones de normalización para diferentes capas de normalización en una red neuronal profunda de una manera de extremo a extremo.

Actualizar

2019/3/21: Versione el marco de capacitación distribuida y el marco de reconocimiento facial. También lanzamos una implementación de Pytorch de SYNCBN y SYNCSN para tareas de lotes pequeños, como segmentación y detección. Más detalles sobre SYNCBN y SYNCSN pueden referirse a esto.
2018/7/27: Se han lanzado los modelos previos a los modelos de resnet50+SN (8,1) y SN (8,4). Estos modelos pueden ayudar en la etapa de sintonización cuando el tamaño del lote de una tarea objetivo está limitado a ser pequeño. También liberamos los modelos previos a la aparición de resnet101v2+Sn que logra 78.81%/94.16% precisiones Top-1/Top-5 en Imagenet. ¡Pronto se lanzarán más modelos previos a la aparición!
2018/7/26: El código para la detección de objetos se ha lanzado en el repositorio de switchNorm_detection.
2018/7/9: Nos gustaría explicar el mérito detrás de SN. Vea la vista previa de HTML o este blog (en chino).
2018/7/4: ¡zoológico modelo actualizado!
2018/7/2: se lanzan el Código de Clasificación de Imagen y un Modelo Pretaled en Imagenet.

Citación

Este repositorio proporciona resultados de clasificación de ImageNet y modelos entrenados con normalización conmutable. Se le recomienda que cite el siguiente documento si usa SN en investigación.

 @article{SwitchableNorm,
  title={Differentiable Learning-to-Normalize via Switchable Normalization},
  author={Ping Luo and Jiamin Ren and Zhanglin Peng and Ruimao Zhang and Jingyu Li},
  journal={International Conference on Learning Representation (ICLR)},
  year={2019}
}

Descripción general de los resultados

Clasificación de imágenes en Imagenet

Comparaciones de las precisiones de Top-1 en el conjunto de validación de Imagenet, utilizando resnet50 entrenado con SN, BN y GN en diferentes configuraciones de tamaño por lotes. El soporte (·, ·) denota (#GPU,#muestras por GPU). En la parte inferior, "Gn-Bn" indica la diferencia entre las precisiones de GN y BN. El "-" en (8, 1) de BN indica que no converge.

	(8,32)	(8,16)	(8,8)	(8,4)	(8,2)	(1,16)	(1.32)	(8,1)	(1,8)
Bn	76.4	76.3	75.2	72.7	65.3	76.2	76.5	-	75.4
Gn	75.9	75.8	76.0	75.8	75.9	75.9	75.8	75.5	75.5
Sn	76.9	76.7	76.7	75.9	75.6	76.3	76.6	75.0 ^*	75.9
GN - BN	-0.5	-0.5	0.8	3.1	10.6	-0.3	-0.7	-	0.1
Sn - bn	0.5	0.4	1.5	3.2	10.3	0.1	0.1	-	0.5
Sn - GN	1.0	0.9	0.7	0.1	-0.3	0.4	0.8	-0.5	0.4

*Para (8,1), Sn contiene en y ln sin BN, ya que Bn es el mismo que en el entrenamiento.

Zoológico modelo

Proporcionamos modelos previos a la aparición con SN en Imagenet y comparamos con los que se pretratan con BN como referencia. Si usa estos modelos en la investigación, cite el documento SN. La configuración de SN se denota como (#GPUS, #Images por GPU).

Modelo	Top-1 ^*	Top-5 ^*	Épocas	Planificador LR	Descomposición de peso	Descargar
Resnet101v2+sn (8,32)	78.81%	94.16%	120	calentamiento + coseno LR	1e-4	[Google Drive] [Baidu Pan]
Resnet101v1+sn (8,32)	78.54%	94.10%	120	calentamiento + coseno LR	1e-4	[Google Drive] [Baidu Pan]
Resnet50v2+sn (8,32)	77.57%	93.65%	120	calentamiento + coseno LR	1e-4	[Google Drive] [Baidu Pan]
Resnet50v1+sn (8,32)	77.49%	93.32%	120	calentamiento + coseno LR	1e-4	[Google Drive] [Baidu Pan]
Resnet50v1+sn (8,32)	76.92%	93.26%	100	LR inicial = 0.1 decaimiento = 0.1 pasos [30,60,90,10]	1e-4	[Google Drive] [Baidu Pan]
Resnet50v1+sn (8,4)	75.85%	92.7%	100	LR inicial = 0.0125 Decadencia = 0.1 pasos [30,60,90,10]	1e-4	[Google Drive] [Baidu Pan]
Resnet50v1+sn (8,1) ^†	75.94%	92.7%	100	LR inicial = 0.003125 Decadencia = 0.1 pasos [30,60,90,10]	1e-4	[Google Drive] [Baidu Pan]
Resnet50v1+bn	75.20%	92.20%	-	descomposición paso a paso	-	[Modelos TensorFlow]
Resnet50v1+bn	76.00%	92.98%	-	descomposición paso a paso	-	[Visión de Pytorch]
Resnet50v1+bn	75.30%	92.20%	-	descomposición paso a paso	-	[MSRA]
Resnet50v1+bn	75.99%	92.98%	-	descomposición paso a paso	-	[FB Torch]

*Precisión de validación de un solo cultivo en ImageNet (un cultivo central 224x224 de una imagen redimensionada con el lado más corto = 256)

† Para (8,1), Sn contiene en y ln sin BN, ya que Bn es el mismo que en el entrenamiento. Al usar este modelo, debe agregar using_bn : False en el archivo yaml.