Experimenting with modularity in deep learning
1.0.0
このプロジェクトは、最近のモジュラーネットワークの分野を実践することを目的として、Sapienzaのデータサイエンスのコースニューラルネットワークのために実行されます。モジュラーネットワークは、トレーニング時間と推論時間を短縮するために、または深いアーキテクチャによって与えられる全体的な計算予算を最近より深くするために、テクニックのような蒸留に代わるものを提供することを目的としています。
私が実装するモジュラーネットワークのタイプは、花データセットを考慮して画像分類のために、Tensorflow KerasのゼロからVGG11モデルを介した早期終了です。より具体的には、以前のアーキテクチャに固定された早期出口を追加し、すべての早期出口予測と最後の予測を使用して、ジョイントクロスエントロピー損失で新しいモデルをトレーニングします。推論は、早期出口または継続するかどうかを保証する早期出口層Eのエントロピーに関するしきい値操作によって行われます。早期拡張層は、畳み込みと完全に接続されたレイヤーの2つの順次層の小さな分類器です。このモジュラーアーキテクチャをさらに調査するために、初期出口ブランチは、モデル内のすべての畳み込みブロックの後、合計5で実装されます。
[1]なぜニューラルネットワークに早期出口を追加する必要があるのですか？
[2] Deebert：BERT推論を加速するためのダイナミック早期終了
[3]畳み込みにより深くなる
