Experimenting with modularity in deep learning

在深度学习中尝试模块化

该项目是针对Sapienza数据科学的课程神经网络进行的，目的是与最近的模块化网络进行动手实践。模块化网络旨在为蒸馏（例如蒸馏）提供替代性，以减少培训和推理时间或当今深度建筑给出的整体计算预算。

模型和培训

我实现的模块化网络的类型是从tensorflow keras中的vgg11模型提前退出，以用于图像分类给定花数据集。更具体地说，我在以前的体系结构中添加了固定的早期出口，并使用所有早期出口预测和最终预测训练新模型。推论是通过在E早期出口层的熵上进行的阈值操作来确保是否提早退出或继续。早期外层是两个顺序层的小分类器：卷积和一个完全连接的分类器。在模型中的每个卷积块之后，总共5个卷积块将实现早期出口分支，以探索更多模块化体系结构。

参考

[1]为什么我们应该将早期出口添加到神经网络中？

[2] Deebert：动态早期退出以加速BERT推断

[3]卷积更深