Experimenting with modularity in deep learning
1.0.0
Das Projekt wird für die neuronalen Netzwerke für Data Science bei Sapienza durchgeführt, mit dem Ziel, mit dem jüngsten Bereich der modularen Netzwerke praktisch zu machen. Modulare Netzwerke zielen darauf ab, eine Alternativie zu Tecnique wie Destillation zu bieten, um die Ausbildung und Inferenzzeit oder das Gesamtbudget des Gesamtbudgets zu verkürzen, das die heutige tiefe Architektur tiefer wird.
Die Art der modularen Netzwerke, die ich implementieren, ist ein frühzeitiger Ausgang über ein VGG11 -Modell in TensorFlow -Keras für die Bildklassifizierung angesichts des Blumendatensatzes. Insbesondere füge ich in der vorherigen Architektur feste frühe Ausgänge hinzu und trainiere das neue Modell mit einem gemeinsamen Kreuzentropieverlust unter Verwendung der frühen und endgültigen Ausstiegsvorhersage. Die Inferenz erfolgt durch einen Schwellenwertvorgang bei der Entropie der frühen Ausstiegsschicht E, die sicherstellen, dass sie frühzeitig aussteigen oder fortfahren. Die Early-Exit-Schicht ist ein kleiner Klassifizierer von zwei sequentieller Schicht: Faltung und vollständig verbunden. Der frühe Ausgangszweig wird nach jedem Faltungsblock im Modell für insgesamt 5 implementiert, um diese modulare Architektur mehr zu untersuchen.
[1] Warum sollten wir den neuronalen Netzwerken frühe Ausgänge hinzufügen?
[2] Deebert: Dynamisches frühes Abschluss zur Beschleunigung von Bert -Inferenz
[3] tiefer mit den Konvolutionen gehen
