knowledge distillation pytorch

Conocimiento-Distilación-Pytorch

• Explorar la destilación de conocimiento de DNN para soluciones de hardware eficientes
• Autor: Haitong Li
• Marco: Pytorch
• Conjunto de datos: cifar-10

Características

• Un marco para explorar experimentos de destilación de conocimiento "superficial" y "profundo" (KD)
• Hiperparámetros definidos por "params.json" universalmente (evitando comandos largos argparser)
• Búsqueda de hiperparameter y sintetización de resultados (como tabla)
• Barra de progreso, soporte de placa tensor y ahorro/carga de punto de control (utils.py)
• Modelos de maestros previos a la aparición disponibles para descargar

Instalar

• Clonar el repositorio

   git clone https://github.com/peterliht/knowledge-distillation-pytorch.git
  

• Instale las dependencias (incluido Pytorch)

   pip install -r requirements.txt
  

Organizateo:

• ./train.py: entrada principal para tren/eval con o sin KD en CIFAR-10
• ./Experiments/: archivos JSON para cada experimento; Dir para HyperSearch
• ./model/: DNNS de maestro y alumno, destilación de conocimiento (KD) Desfinación de pérdida, dataLoader

Notas clave sobre el uso de sus experimentos:

• Descargue el archivo ZIP para los puntos de control del modelo de maestro previo al maestro de "Experiments.zip"
• Simplemente mueva las subcarpetas descomprimidas a 'Conocimiento-Distilación-Pytorch/Experiments/' (reemplazando las existentes si es necesario; siga el nombre de ruta predeterminado)
• Llame a Train.py para comenzar a entrenar CNN de 5 capas con el conocimiento oscuro de Resnet-18 o capacitar a Resnet-18 con modelos más profundos de última generación destilados
• Use search_hyperparams.py para hipersearch
• Los hiperparámetros se definen en los archivos de parámetros. Json universalmente. Consulte el encabezado de Search_hyperParams.py para más detalles

Train (conjunto de datos: CIFAR-10)

Nota: Todos los hiperparámetros se pueden encontrar y modificar en 'Params.json' en 'Model_dir'

-Entrena un CNN de 5 capas con conocimiento destilado de un modelo RESNET-18 previamente capacitado

 python train.py --model_dir experiments/cnn_distill

-Entrena un modelo RESNET-18 con conocimiento destilado de un maestro de resnext-29 previamente capacitado

 python train.py --model_dir experiments/resnet18_distill/resnext_teacher

- Hyperparameter Buscar para un experimento especificado ('Parent_dir/Params.json')

 python search_hyperparams.py --parent_dir experiments/cnn_distill_alpha_temp

--Sintetize los resultados de los recientes experimentos de HyperSearch

 python synthesize_results.py --parent_dir experiments/cnn_distill_alpha_temp

Resultados: destilación "superficial" y "profunda"

Takeaways rápidos (más detalles que se agregarán):

• La destilación de conocimiento proporciona regularización tanto para los DNN poco profundos como para los DNN de vanguardia
• Tener un conjunto de datos no etiquetado o parcial puede beneficiarse del conocimiento oscuro de los modelos de maestros

-Destilación del conocimiento de resnet-18 a 5 capas CNN

Modelo	Abandonado = 0.5	Sin abandono
CNN de 5 capas	83.51%	84.74%
CNN de 5 capas W/ Resnet18	84.49%	85.69%

- Destilación del conocimiento de modelos más profundos a Resnet-18

Modelo	Precisión de la prueba
Línea de base Resnet-18	94.175%
+ KD WidEesnet-28-10	94.333%
+ KD Preresnet-110	94.531%
+ Kd densenet-100	94.729%
+ Kd resnext-29-8	94.788%

Referencias

H. Li, "Explorando la destilación del conocimiento de redes neuronales profundas para soluciones de hardware eficientes", Informe CS230, 2018

Hinton, Geoffrey, Oriol Vinyals y Jeff Dean. "Destilar el conocimiento en una red neuronal". ARXIV Preprint ARXIV: 1503.02531 (2015).

Romero, A., Ballas, N., Kahou, SE, Chassang, A., Gatta, C. y Bengio, Y. (2014). FitNets: sugerencias para redes profundas delgadas. preimpresión ARXIV ARXIV: 1412.6550.

https://github.com/cs230-stanford/cs230-stanford.github.io

https://github.com/bearpaw/pytorch-classification