knowledge distillation pytorch

知识依赖 - 托尔奇

• 探索DNN的知识蒸馏以进行有效的硬件解决方案
• 作者：海顿李
• 框架：Pytorch
• 数据集：CIFAR-10

特征

• 探索“浅”和“深”知识蒸馏（KD）实验的框架
• 由“ params.json”普遍定义的超参数（避免长期gragparser命令）
• 超参数搜索和结果合成（作为表）
• 进度栏，张板支持和检查点保存/加载（utils.py）
• 预算的教师模型可供下载

安装

• 克隆仓库

   git clone https://github.com/peterliht/knowledge-distillation-pytorch.git
  

• 安装依赖项（包括pytorch）

   pip install -r requirements.txt
  

组织：

• ./train.py：CIFAR-10上有或不带有KD的火车/评估的主要入口
• ./ experiments/：每个实验的JSON文件； DIR用于Hypersearch
• ./model/：老师和学生DNNS，知识蒸馏（KD）损失限定，数据载体加载器

有关您的实验使用情况的关键说明：

• 从“实验”
• 只需将未拉链的子文件夹移动到“知识差异/实验/实验/”中（如有必要，请更换现有的验证；请按照默认路径命名）
• 致电Train.py开始使用Resnet-18的深色知识开始培训5层CNN，或使用最先进的较深型号蒸馏的培训Resnet-18
• 使用search_hyparams.py进行Hypersearch
• 超参数在参数文件中定义。有关详细信息

火车（数据集：CIFAR-10）

注意：所有超参数都可以在“ params.json”下找到并修改

- 训练5层CNN，其知识从预先训练的RESNET-18模型中蒸馏出来

 python train.py --model_dir experiments/cnn_distill

- 培训RESNET-18模型，其知识从预先训练的Resnext-29老师中蒸馏出来

 python train.py --model_dir experiments/resnet18_distill/resnext_teacher

- 超参数搜索指定的实验（'parent_dir/paramses.json'）

 python search_hyperparams.py --parent_dir experiments/cnn_distill_alpha_temp

- 最近的HyperSearch实验的结果

 python synthesize_results.py --parent_dir experiments/cnn_distill_alpha_temp

结果：“浅”和“深”蒸馏

快速外卖（要添加更多详细信息）：

• 知识蒸馏为浅DNN和最先进的DNN提供了正则化
• 没有标记或部分数据集可以从老师模型的黑暗知识中受益

-从RESNET-18到5层CNN的知识蒸馏

模型	辍学= 0.5	没有辍学
5层CNN	83.51％	84.74％
5层CNN W/ resnet18	84.49％	85.69％

-从更深的模型到RESNET-18的知识蒸馏

模型	测试准确性
基线RESNET-18	94.175％
+ KD WIDERESNET-28-10	94.333％
+ KD Preesnet-11	94.531％
+ KD Densenet-100	94.729％
+ KD Resnext-29-8	94.788％

参考

H. Li，“探索深神网的知识蒸馏以进行高效硬件解决方案”，CS230报告，2018年

Hinton，Geoffrey，Oriol Vinyals和Jeff Dean。 “在神经网络中提取知识。” ARXIV预印型ARXIV：1503.02531（2015）。

Romero，A.，Ballas，N.，Kahou，SE，Chassang，A. fitnets：薄网的提示。 ARXIV预印型ARXIV：1412.6550。

https://github.com/cs230-stanford/cs230-stanford.github.io

https://github.com/bearpaw/pytorch-classification