torchdistill

TorchDistill：知識蒸留のためのモジュラー、構成駆動型のフレームワーク

TorchDistill （以前のKDKIT ）は、さまざまな最先端の知識蒸留方法を提供し、Pythonコードの代わりに宣言的なYAML構成ファイルを編集するだけで（新しい）実験を設計できます。教師/生徒モデルで中間表現を抽出する必要がある場合でも、モデルを再実装する必要はありません。モデルは、フォワードのインターフェイスを変更することが多いため、YAMLファイルのモジュールパスを指定します。詳細については、これらの論文を参照してください。

知識の蒸留に加えて、このフレームワークは、再現可能な深い学習研究のための一般的な深い学習実験（コーディングなし）を設計および実行するのに役立ちます。つまり、宣言的なYAML構成ファイルから教師のエントリを除外するだけで、教師なしでモデルをトレーニングできます。このような例は、以下とconfigs/sample/で見つけることができます。

論文でTorchdistillを参照する場合は、このGitHubリポジトリの代わりにこれらの論文を引用してください。
あなたがあなたの仕事の一環としてTorchdistillを使用する場合、あなたの引用は高く評価され、このフレームワークを維持し、アップグレードするように私を動機付けます！

ドキュメント

https://yoshitomo-matsubara.net/torchdistill/でTorchdistillを活用するAPIドキュメントと研究プロジェクトを見つけることができます。

フォワードフックマネージャー

ForwardHookManagerを使用して、その前方関数のインターフェイスを変更せずにモデルで中間表現を抽出できます。
この例ノートブックは、知識の蒸留や中間表現の分析などの使用法のより良いアイデアを提供します。

1実験→1宣言Pyyaml設定ファイル

Torchdistillでは、多くのコンポーネントとPytorchモジュールが、モデル、データセット、オプティマイザー、損失などを抽象化しています！それらを宣言的なpyyaml設定ファイルで定義して、実験の要約として見ることができます。多くの場合、 Pythonコードをまったく記述する必要はありません。構成/で利用可能ないくつかの構成をご覧ください。どのモジュールが抽出されているか、およびそれらが宣言的なpyyaml設定ファイルでどのように定義されているかを確認して、実験を設計します。

このフレームワークを使用して独自のモジュール（モデル、損失関数、データセットなど）を使用する場合は、ローカルパッケージtorchdistill/でコードを編集せずにそうすることができます。
詳細については、公式のドキュメントとディスカッションを参照してください。

ベンチマーク

ILSVRC 2012（Imagenet）のTOP-1検証精度

例

実行可能コードは、例/などにあります

• 画像分類：Imagenet（ILSVRC 2012）、CIFAR-10、CIFAR-100など
• オブジェクトの検出：COCO 2017など
• セマンティックセグメンテーション：Coco 2017、Pascal Vocなど
• テキスト分類：接着剤など

CIFAR-10およびCIFAR-100の場合、一部のモデルは再実装され、 Torchdistillで優先モデルとして利用可能です。詳細については、こちらをご覧ください。

Torchdistillが接着剤タスクのために微調整した一部のトランスモデルは、Face Model Hubを抱きしめて利用できます。サンプル接着剤のベンチマークの結果と詳細はこちらでご覧いただけます。

Google Colabの例

次の例は、デモ/で入手できます。これらの例は、Google Colabユーザー向けであり、Amazon Sagemaker Studio Labと互換性があることに注意してください。通常、あなた自身のGPUを持っている場合、例/はより良い参照になります。

CIFAR-10およびCIFAR-100

• 教師モデルなしのトレーニング
• 知識の蒸留

のり

• 教師モデルなしの微調整
• 知識の蒸留

これらの例は、接着剤リーダーボードシステムでテストパフォーマンスを確認するためにテスト予測ファイルを書きます。

Pytorch Hub

Pytorch HubまたはGithubリポジトリでPytorch Hubをサポートするモデルを見つけた場合、宣言的なYAML構成ファイルを編集するだけで、教師/学生モデルとしてインポートできます。

たとえば、Huggingface/Pytorch-Image-Models（別名TIMM ）で利用可能な前提条件のResnest-50をImagenet Datasetの教師モデルとして使用する場合、Pytorch Hubを介して次のエントリを使用してモデルをインポートできます。

 models :
  teacher_model :
    key : ' resnest50d '
    repo_or_dir : ' huggingface/pytorch-image-models '
    kwargs :
      num_classes : 1000
      pretrained : True 

セットアップ方法

• Python> = 3.9
• pipenv（オプション）

PIP/PIPENVでインストールします

 pip3 install torchdistill
# or use pipenv
pipenv install torchdistill

このリポジトリからインストール（推奨されません）

 git clone https://github.com/yoshitomo-matsubara/torchdistill.git
cd torchdistill/
pip3 install -e .
# or use pipenv
pipenv install "-e ."

問題 /質問 /リクエスト /リクエスト

バグが見つかった場合は、お気軽に問題を作成してください。
質問または機能のリクエストがある場合は、ここで新しいディスカッションを開始してください。問題や議論を検索し、問題/質問/リクエストがまだ対処されていないことを確認してください。

プルリクエストは大歓迎です。問題から始めて、プルリクエストから始めるのではなく、ソリューションについて話し合ってください。

引用

調査でTorchdistillを使用している場合は、次の論文を引用してください。
[紙] [プリプリント]

 @inproceedings { matsubara2021torchdistill ,
  title = { {torchdistill: A Modular, Configuration-Driven Framework for Knowledge Distillation} } ,
  author = { Matsubara, Yoshitomo } ,
  booktitle = { International Workshop on Reproducible Research in Pattern Recognition } ,
  pages = { 24--44 } ,
  year = { 2021 } ,
  organization = { Springer }
}

[Paper] [OpenReview] [Preprint]

 @inproceedings { matsubara2023torchdistill ,
  title = { {torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP} } ,
  author = { Matsubara, Yoshitomo } ,
  booktitle = { Proceedings of the 3rd Workshop for Natural Language Processing Open Source Software (NLP-OSS 2023) } ,
  publisher = { Empirical Methods in Natural Language Processing } ,
  pages = { 153--164 } ,
  year = { 2023 }
}

謝辞

このプロジェクトは、2021年11月と2022年6月以降、それぞれTravis CIのOSSクレジットとJetbrainの無料ライセンスプログラム（オープンソース）によってサポートされています。

参照

• ？ pytorch/vision/references/classification/
• ？ pytorch/vision/references/retection/
• ？ pytorch/vision/references/segmentation/
• ？ Huggingface/Transformers/Examples/Pytorch/Text-Classification
• ？ Geoffrey Hinton、Oriol Vinyals、Jeff Dean。 「ニューラルネットワークで知識を蒸留する」（深い学習と表現学習ワークショップ：Neurips 2014）
• ？ Adriana Romero、Nicolas Ballas、Samira Ebrahimi Kahou、Antoine Chassang、Carlo Gatta、Yoshua Bengio。 「Fitlets：薄いディープネットのヒント」（ICLR 2015）
• ？ Junho Yim、Donggyu Joo、Jihoon Bae、Junmo Kim。 「知識蒸留からの贈り物：速い最適化、ネットワーク最小化、転送学習」（CVPR 2017）
• ？セルゲイ・ザゴルイコ、ニコス・コモダキス。 「注意にもっと注意を払う：注意転送による畳み込みニューラルネットワークのパフォーマンスの向上」（ICLR 2017）
• ？ Nikolaos passalis、Anastasios tefas。 「確率的知識移転で深い表現を学ぶ」（ECCV 2018）
• ？ジャンゴー・キム、ソングク・パーク、ノジュン・クワク。 「複雑なネットワークの言い換え：因子転送によるネットワーク圧縮」（Neurips 2018）
• ？ Byeongho Heo、Minsik Lee、Sangdoo Yun、Jin Young Choi。 「隠されたニューロンによって形成された活性化境界の蒸留による知識伝達」（AAAI 2019）
• ？ Tong He、Chunhua Shen、Zhi Tian、Dong Gong、Changming Sun、Youliang Yan。 「効率的なセマンティックセグメンテーションのための知識適応」（CVPR 2019）
• ？ウォンピオパーク、東juキム、ヤンルー、ミンスチョ。 「リレーショナル知識の蒸留」（CVPR 2019）
• ？ Sungsoo Ahn、Shell Xu Hu、Andreas Damianou、Neil D. Lawrence、Zhenwen Dai。 「知識移転のための変動情報蒸留」（CVPR 2019）
• ？ Yoshitomo Matsubara、Sabur Baidya、Davide Callegaro、Marco Levorato、Sameer Singh。 「エッジアシストリアルタイムシステムのための蒸留スプリットディープニューラルネットワーク」（ビデオ分析とインテリジェントエッジのホットトピックに関するワークショップ：Mobicom 2019）
• ？ Baoyun Peng、Xiao Jin、Jiaheng Liu、Dongsheng Li、Yichao Wu、Yu Liu、Shunfeng Zhou、Zhaoning Zhang。 「知識の蒸留の相関の一致」（ICCV 2019）
• ？フレデリック・トゥン、グレッグ・モリ。 「類似性を節約する知識の蒸留」（ICCV 2019）
• ？ Yonglong Tian、Dilip Krishnan、Phillip Isola。 「対照的な表現蒸留」（ICLR 2020）
• ？ヨシトモ・マツバラ、マルコ・レヴォラート。 「挑戦されたネットワークでのエッジアシストされたリアルタイムオブジェクト検出のためのニューラル圧縮とフィルタリング」（ICPR 2020）
• ？ Li Yuan、Francis Ehtay、Guilin Li、Tao Wang、Jiashi Feng。 「ラベルスムージングの正則化による知識の蒸留を再検討する」（CVPR 2020）
• ？ Guodong Xu、Ziwei Liu、Xiaoxiao Li、Chen Change Loy。 「知識の蒸留は自己監視に出会う」（ECCV 2020）
• ？ Youcai Zhang、Zhonghao Lan、Yuchen Dai、Fangao Zeng、Yan Bai、Jie Chang、Yichen Wei。 「プライム認識適応蒸留」（ECCV 2020）
• ？ Pengguang Chen、Shu Liu、Hengshuang Zhao、Jiaya Jia。 「知識レビューによる知識の蒸留」（CVPR 2021）
• ？ Li Liu、Qingle Huang、Sihao Lin、Hongwei Xie、Bing Wang、Xiaojun Chang、Xiaodan Liang。 「多様性に保存されている知識の蒸留のためのチャネル間相関の調査」（ICCV 2021）
• ？ Tao Huang、Shan You、Fei Wang、Chen Qian、Chang Xu。 「より強力な教師からの知識の蒸留」（Neurips2022）
• ？ロイ・マイルズ、クリシュティアン・ミコラジクシク。 「知識の蒸留におけるプロジェクターの役割を理解する」（AAAI 2024）
• ？シャンカン・サン、ウェンキ・レン、ジンジー・リー、ルイ・ワン、Xiaochun cao。 「知識の蒸留におけるロジット標準化」（CVPR 2024）