pytorch_resnet_cifar10

Implémentation appropriée de Resnet pour CIFAR10 / CIFAR100 dans Pytorch

TorchVision Model Zoo fournit un certain nombre d'implémentations de diverses architectures de pointe, cependant, la plupart d'entre eux sont définis et mis en œuvre pour ImageNet. Habituellement, il est simple d'utiliser les modèles fournis sur d'autres ensembles de données, mais certains cas nécessitent une configuration manuelle.

Par exemple, très peu de référentiels Pytorch avec des ResNet sur CIFAR10 fournissent la mise en œuvre comme décrit dans l'article d'origine. Si vous utilisez simplement les modèles de TorchVision sur CIFAR10, vous obtiendrez le modèle qui diffère en nombre de couches et de paramètres . Ceci est inacceptable si vous souhaitez comparer directement Resnet-S sur CIFAR10 avec le papier d'origine. Le but de ce dépôt est de fournir une implémentation Pytorch valide de RESNET-S pour CIFAR10 comme décrit dans l'article d'origine. Les modèles suivants sont fournis:

Nom	# couches	# Params	Tester ERR (papier)	Tester ERR (Cet impl.)
Resnet20	20	0,27 m	8,75%	8,27%
Resnet32	32	0,46 m	7,51%	7,37%
Resnet44	44	0,66 m	7,17%	6,90%
Resnet56	56	0,85 m	6,97%	6,61%
Resnet110	110	1,7 m	6,43%	6,32%
Resnet1202	1202	19,4 m	7,93%	6,18%

Cette implémentation correspond à la description de l'article d'origine, avec une erreur de test comparable ou meilleure.

Comment courir?

git clone https://github.com/akamaster/pytorch_resnet_cifar10
cd pytorch_resnet_cifar10
chmod +x run.sh && ./run.sh

Détails de la formation

Notre implémentation suit l'article de manière simple avec quelques mises en garde: Premièrement , la formation dans l'article utilise la division 45k / 5k de trains / validation sur les données de train et sélectionne le modèle le plus performant en fonction des performances de l'ensemble de validation. Nous n'effectuons pas de tests de validation; Si vous devez comparer vos résultats sur Resnet en tête-à-tête au papier original, gardez cela à l'esprit. Deuxièmement , si vous souhaitez former Resnet1202, gardez à l'esprit que vous avez besoin de 16 Go de mémoire sur GPU.

Modèles pré-entraînés à télécharger

1. Resnet20, 8,27% err
2. Resnet32, 7,37% err
3. Resnet44, 6,90% err
4. Resnet56, 6,61% err
5. Resnet110, 6,32% err
6. Resnet1202, 6,18% err

Si vous trouvez cette implémentation utile et que vous souhaitez citer / mentionner cette page, voici une citation Bibtex:

 @misc { Idelbayev18a ,
  author       = " Yerlan Idelbayev " ,
  title        = " Proper {ResNet} Implementation for {CIFAR10/CIFAR100} in {PyTorch} " ,
  howpublished = " url{https://github.com/akamaster/pytorch_resnet_cifar10} " ,
  note         = " Accessed: 20xx-xx-xx "
}