pytorch_resnet_cifar10

Implementación adecuada de resnet para CIFAR10/CIFAR100 en Pytorch

TorchVision Model Zoo proporciona un número de implementaciones de diversas arquitecturas de última generación, sin embargo, la mayoría de ellas se definen e implementan para Imagenet. Por lo general, es sencillo usar los modelos proporcionados en otros conjuntos de datos, pero algunos casos requieren una configuración manual.

Por ejemplo, muy pocos repositorios de Pytorch con resnets en CIFAR10 proporcionan la implementación como se describe en el documento original. Si solo usa los modelos de TorchVision en CIFAR10, obtendrá el modelo que difiere en número de capas y parámetros . Esto es inaceptable si desea comparar directamente resnet-s en cifar10 con el papel original. El propósito de este repositorio es proporcionar una implementación válida de Pytorch de ResNet-S para CIFAR10 como se describe en el documento original. Se proporcionan los siguientes modelos:

Nombre	# Capas	# parámetros	Prueba err (papel)	Prueba err (este impl.)
Resnet20	20	0.27m	8.75%	8.27%
Resnet32	32	0.46m	7.51%	7.37%
Resnet44	44	0.66m	7.17%	6.90%
Resnet56	56	0.85m	6.97%	6.61%
Resnet110	110	1.7m	6.43%	6.32%
Resnet1202	1202	19.4m	7.93%	6.18%

Esta implementación coincide con la descripción del documento original, con un error de prueba comparable o mejor.

¿Cómo correr?

git clone https://github.com/akamaster/pytorch_resnet_cifar10
cd pytorch_resnet_cifar10
chmod +x run.sh && ./run.sh

Detalles de la capacitación

Nuestra implementación sigue el documento de manera sencilla con algunas advertencias: primero , la capacitación en el documento utiliza división de tren/validación de 45k/5k en los datos del tren, y selecciona el modelo de mejor rendimiento en función del rendimiento en el conjunto de validación. No realizamos pruebas de validación; Si necesita comparar sus resultados en resnet cara a cara con el papel orginal, tenga esto en cuenta. En segundo lugar , si desea entrenar resnet1202, tenga en cuenta que necesita memoria de 16 GB en GPU.

Modelos previos a la descarga

1. Resnet20, 8.27% err
2. Resnet32, 7.37% err
3. Resnet44, 6.90% err
4. Resnet56, 6.61% err
5. Resnet110, 6.32% err
6. Resnet1202, 6.18% err

Si encuentra útil esta implementación y desea citar/mencionar esta página, aquí hay una cita de Bibtex:

 @misc { Idelbayev18a ,
  author       = " Yerlan Idelbayev " ,
  title        = " Proper {ResNet} Implementation for {CIFAR10/CIFAR100} in {PyTorch} " ,
  howpublished = " url{https://github.com/akamaster/pytorch_resnet_cifar10} " ,
  note         = " Accessed: 20xx-xx-xx "
}