Experimenting with modularity in deep learning - Experimenting with modularity in deep learning

Experimenting with modularity in deep learning

其他類別

1.0.0

下載

在深度學習中嘗試模塊化

該項目是針對Sapienza數據科學的課程神經網絡進行的，目的是與最近的模塊化網絡進行動手實踐。模塊化網絡旨在為蒸餾（例如蒸餾）提供替代性，以減少培訓和推理時間或當今深度建築給出的整體計算預算。

模型和培訓

我實現的模塊化網絡的類型是從tensorflow keras中的vgg11模型提前退出，以用於圖像分類給定花數據集。更具體地說，我在以前的體系結構中添加了固定的早期出口，並使用所有早期出口預測和最終預測訓練新模型。推論是通過在E早期出口層的熵上進行的閾值操作來確保是否提早退出或繼續。早期外層是兩個順序層的小分類器：卷積和一個完全連接的分類器。在模型中的每個卷積塊之後，總共5個卷積塊將實現早期出口分支，以探索更多模塊化體系結構。