Experimenting with modularity in deep learning
1.0.0
El proyecto se lleva a cabo para el curso de redes neuronales para la ciencia de datos en Sapienza, con el objetivo de tener una práctica con el campo reciente de las redes modulares. Las redes modulares tienen como objetivo proporcionar una alternativa a Tecnique, como la destilación, para reducir el tiempo de capacitación e inferencia o el presupuesto computacional general dado por la arquitectura profunda más profundo hoy en día.
El tipo de redes modulares que implemento es la salida temprana a través de un modelo VGG11 desde cero en Keras TensorFlow para la clasificación de imágenes dado el conjunto de datos de flores. Más específicamente, agrego salidas tempranas fijas en la arquitectura anterior y entreno el nuevo modelo con una pérdida de entropía cruzada conjunta utilizando toda la predicción de salida temprana y la final. La inferencia se realiza mediante una operación de umbral en la entropía de la capa de salida temprana que asegura si sale temprano o continúa. La capa de salida temprana es un pequeño clasificador de dos capa secuencial: convolución y una totalmente conectada. La rama de salida temprana se implementa después de cada bloque de convolucional en el modelo, para un total de 5, para explorar más esta arquitectura modular.
[1] ¿Por qué deberíamos agregar salidas tempranas a las redes neuronales?
[2] Deebert: Exitir temprano dinámico para acelerar la inferencia de Bert
[3] profundizar con las convoluciones
