rethinking network pruning

Repenser la valeur de l'élagage du réseau

Ce référentiel contient le code de reproduction des résultats et des modèles ImageNet formés, dans l'article suivant:

Repenser la valeur de l'élagage du réseau. [arXiv] [OpenReview]

Zhuang Liu *, Mingjie Sun *, Tinghui Zhou, Gao Huang, Trevor Darrell (* Contribution égale).

ICLR 2019. Aussi Best Paper Award à NIPS 2018 Workshop on Compact Deep Neural Networks.

Plusieurs implémentations de méthodes d'élagage contenues dans ce repo peuvent également être facilement utilisées à d'autres fins de recherche.

Résumé du papier

Fig 1: Un pipeline d'élagage de réseau typique à trois étapes.

Notre article montre que pour l'élagage structuré , la formation du modèle élaguée à partir de zéro peut presque toujours atteindre un niveau de précision comparable ou supérieur que le modèle obtenu à partir de la procédure typique de "formation, élagage et affinage fin" (Fig. 1) . Nous concluons que pour ces méthodes d'élagage:

1. La formation d'un grand modèle sur-paramétrisé n'est souvent pas nécessaire pour obtenir un modèle final efficace.
2. Les poids «importants» appris sur le grand modèle ne sont généralement pas utiles pour le petit modèle taillé.
3. L'architecture élaguée elle-même, plutôt qu'un ensemble de poids «importants» héréditaires, est plus crucial pour l'efficacité du modèle final, ce qui suggère que dans certains cas l'élagage peut être utile comme paradigme de recherche d'architecture.

Nos résultats suggèrent la nécessité d'évaluations de base plus prudents dans les recherches futures sur les méthodes d'élagage structurées.

Fig 2: Différence entre les architectures cibles prédéfinies et découvertes automatiquement, dans l'élagage des canaux. Le rapport d'élagage x est spécifié par l'utilisateur, tandis que A, B, C, D sont déterminés par l'algorithme d'élagage. L'élagage clairsemé non structuré peut également être considéré comme automatique. Notre constatation a des implications différentes pour les méthodes prédéfinies et automatiques: pour une méthode prédéfinie, il est possible de sauter le pipeline traditionnel de «formation, élagage et réglage fin et former directement le modèle élaqué; Pour les méthodes automatiques, l'élagage peut être considéré comme une forme d'apprentissage de l'architecture.

Nous nous comparons également à «l'hypothèse de ticket de loterie» (Frankle & Carbin 2019), et constatons qu'avec un taux d'apprentissage optimal, l'initialisation du «ticket gagnant» telle qu'utilisée dans Frankle & Carbin (2019) n'apporte pas une amélioration par rapport à l'initialisation aléatoire. Pour plus de détails, veuillez vous référer à notre article.

Mise en œuvre

Nous avons évalué les sept méthodes d'élagage suivantes.

1. Élagage de canal basé sur la norme L1
2. Éclair
3. Reconstruction des fonctionnalités basées sur la régression
4. Minceur de réseau
5. Sélection de structure clairsemée
6. Élagage du filtre souple
7. Élagage de niveau de poids non structuré

Les six premiers sont structurés tandis que le dernier n'est pas structuré (ou clairsemé). Pour CIFAR, notre code est basé sur la classification pytorch et la rotation du réseau. Pour ImageNet, nous utilisons le code de formation officiel de Pytorch ImageNet. Les instructions et les modèles sont dans chaque sous-dossier.

Pour des expériences sur l'hypothèse de ticket de loterie, veuillez vous référer au dossier CIFAR / TICKET LOTTERY.

Notre environnement d'expérience est Python 3.6 et Pytorch 0.3.1.

Contact

N'hésitez pas à discuter des articles / code avec nous par le biais de problèmes / e-mails!

SunMJ15 sur gmail.com
Liuzhuangthu sur gmail.com

Citation

Si vous utilisez notre code dans vos recherches, veuillez citer:

 @inproceedings{liu2018rethinking,
  title={Rethinking the Value of Network Pruning},
  author={Liu, Zhuang and Sun, Mingjie and Zhou, Tinghui and Huang, Gao and Darrell, Trevor},
  booktitle={ICLR},
  year={2019}
}