knowledge distillation pytorch

知識駆除 - パイトーチ

• 効率的なハードウェアソリューションのためのDNNSの知識蒸留の調査
• 著者：Haitong Li
• フレームワーク：Pytorch
• データセット：CIFAR-10

特徴

• 「浅い」および「深い」知識蒸留（KD）実験を探るためのフレームワーク
• 「params.json」で定義されたハイパーパラメーター普遍的に（長いargparserコマンドを避ける）
• ハイパーパラメーターの検索と結果の合成（テーブルとして）
• 進行中のバー、テンソルボードのサポート、チェックポイントの保存/読み込み（utils.py）
• ダウンロード可能な事前に処理された教師モデル

インストール

• レポをクローンします

   git clone https://github.com/peterliht/knowledge-distillation-pytorch.git
  

• 依存関係をインストールする（pytorchを含む）

   pip install -r requirements.txt
  

組織：

• ./train.py：cifar-10でKDの有無にかかわらず、電車/評価用のメインエントランス
• ./experiments/：各実験のJSONファイル。 HyperSearchの監督
• ./model/：教師と学生のDNNS、知識蒸留（KD）損失のdefination、データローダー

実験の使用に関する重要なメモ：

• 「実験」から事前に処理された教師モデルチェックポイントのzipファイルをダウンロードします
• 解凍されたサブフォルダーを「ナレッジディスティレーションパイトーチ/実験/」に移動するだけです（必要に応じて既存のものを置き換えます。デフォルトのパスの命名に従ってください）
• Train.pyに電話して、Resnet-18の暗い知識を備えた5層CNNのトレーニングを開始するか、最先端のより深いモデルでResnet-18をトレーニングします
• HyperSearchには、search_hyperparams.pyを使用してください
• ハイパーパラメーターは、params.jsonファイルで普遍的に定義されています。詳細については、search_hyperparams.pyのヘッダーを参照してください

トレイン（データセット：CIFAR-10）

注：すべてのハイパーパラメーターは、「model_dir」の下の「params.json」で見つけることができます。

- 事前に訓練されたResNet-18モデルから蒸留された知識を備えた5層CNNを訓練する

 python train.py --model_dir experiments/cnn_distill

- 事前に訓練されたresnext-29教師から蒸留された知識を備えたResnet-18モデルをトレーニングする

 python train.py --model_dir experiments/resnet18_distill/resnext_teacher

- 指定された実験を検索するハイパーパラメーター（ 'parent_dir/params.json'）

 python search_hyperparams.py --parent_dir experiments/cnn_distill_alpha_temp

- 最近のHyperSearch実験の結果

 python synthesize_results.py --parent_dir experiments/cnn_distill_alpha_temp

結果：「浅い」および「深い」蒸留

クイックテイクアウト（追加する詳細）：

• 知識の蒸留は、浅いDNNと最先端のDNNの両方に正則化を提供します
• 非標識または部分的なデータセットを持つことは、教師モデルの暗い知識から利益を得ることができます

-ResNet-18から5層CNNへの知識の蒸留

モデル	ドロップアウト= 0.5	ドロップアウトはありません
5層CNN	83.51％	84.74％
5層CNN w/ resnet18	84.49％	85.69％

-より深いモデルからResnet-18への知識の蒸留

モデル	テスト精度
ベースラインResNet-18	94.175％
+ kd wideresnet-28-10	94.333％
+ kd preresnet-110	94.531％
+ kd densenet-100	94.729％
+ kd resnext-29-8	94.788％

参照

H. Li、「効率的なハードウェアソリューションのための深い神経ネットの知識の蒸留の探求」、CS230 Report、2018

ヒントン、ジェフリー、オリオールヴィンヴァルズ、ジェフディーン。 「ニューラルネットワークで知識を蒸留します。」 Arxiv Preprint arxiv：1503.02531（2015）。

Romero、A.、Ballas、N.、Kahou、SE、Chassang、A.、Gatta、C。、＆Bengio、Y。（2014）。 Fitlets：薄いディープネットのヒント。 arxiv preprint arxiv：1412.6550。

https://github.com/cs230-stanford/cs230-stanford.github.io

https://github.com/bearpaw/pytorch-classification