knowledge distillation pytorch

知識依賴 - 托爾奇

• 探索DNN的知識蒸餾以進行有效的硬件解決方案
• 作者：海頓李
• 框架：Pytorch
• 數據集：CIFAR-10

特徵

• 探索“淺”和“深”知識蒸餾（KD）實驗的框架
• 由“ params.json”普遍定義的超參數（避免長期gragparser命令）
• 超參數搜索和結果合成（作為表）
• 進度欄，張板支持和檢查點保存/加載（utils.py）
• 預算的教師模型可供下載

安裝

• 克隆倉庫

   git clone https://github.com/peterliht/knowledge-distillation-pytorch.git
  

• 安裝依賴項（包括pytorch）

   pip install -r requirements.txt
  

組織：

• ./train.py：CIFAR-10上有或不帶有KD的火車/評估的主要入口
• ./ experiments/：每個實驗的JSON文件； DIR用於Hypersearch
• ./model/：老師和學生DNNS，知識蒸餾（KD）損失限定，數據載體加載器

有關您的實驗使用情況的關鍵說明：

• 從“實驗”
• 只需將未拉鍊的子文件夾移動到“知識差異/實驗/實驗/”中（如有必要，請更換現有的驗證；請按照默認路徑命名）
• 致電Train.py開始使用Resnet-18的深色知識開始培訓5層CNN，或使用最先進的較深型號蒸餾的培訓Resnet-18
• 使用search_hyparams.py進行Hypersearch
• 超參數在參數文件中定義。有關詳細信息

火車（數據集：CIFAR-10）

注意：所有超參數都可以在“ params.json”下找到並修改

- 訓練5層CNN，其知識從預先訓練的RESNET-18模型中蒸餾出來

 python train.py --model_dir experiments/cnn_distill

- 培訓RESNET-18模型，其知識從預先訓練的Resnext-29老師中蒸餾出來

 python train.py --model_dir experiments/resnet18_distill/resnext_teacher

- 超參數搜索指定的實驗（'parent_dir/paramses.json'）

 python search_hyperparams.py --parent_dir experiments/cnn_distill_alpha_temp

- 最近的HyperSearch實驗的結果

 python synthesize_results.py --parent_dir experiments/cnn_distill_alpha_temp

結果：“淺”和“深”蒸餾

快速外賣（要添加更多詳細信息）：

• 知識蒸餾為淺DNN和最先進的DNN提供了正則化
• 沒有標記或部分數據集可以從老師模型的黑暗知識中受益

-從RESNET-18到5層CNN的知識蒸餾

模型	輟學= 0.5	沒有輟學
5層CNN	83.51％	84.74％
5層CNN W/ resnet18	84.49％	85.69％

-從更深的模型到RESNET-18的知識蒸餾

模型	測試準確性
基線RESNET-18	94.175％
+ KD WIDERESNET-28-10	94.333％
+ KD Preesnet-11	94.531％
+ KD Densenet-100	94.729％
+ KD Resnext-29-8	94.788％

參考

H. Li，“探索深神網的知識蒸餾以進行高效硬件解決方案”，CS230報告，2018年

Hinton，Geoffrey，Oriol Vinyals和Jeff Dean。 “在神經網絡中提取知識。” ARXIV預印型ARXIV：1503.02531（2015）。

Romero，A.，Ballas，N.，Kahou，SE，Chassang，A. fitnets：薄網的提示。 ARXIV預印型ARXIV：1412.6550。

https://github.com/cs230-stanford/cs230-stanford.github.io

https://github.com/bearpaw/pytorch-classification