ContinualPTNCN

Gehirn-inspiriertes Modellieren mit parallelem Temporal Neural Coding Network (P-TNCN): Lokale wiederkehrende und parallele Vorhersagecodierung

Wir führen ein lokal rezidivierendes Vorhersage-Codierungsmodell ein, ein neuro-mimetisches System, das speziell als paralleles temporales Neural-Coding-Netzwerk (P-TNCN) bezeichnet wurde. Im Gegensatz zu den klassischen wiederkehrenden neuronalen Netzwerken (RNNs) führt unser vorgeschlagenes Modell incressing über seine neuronale Dynamik und passt seine Synpatikverbindungsstärken lokal an, dh hebbisch-ähnliche synaptische Anpassungen. Infolgedessen erfordert das zugrunde liegende zeitliche Modell keine rechtzeitigen Computergradienten (auch als "Entfaltung" oder "Entrollen" durch die Zeit bekannt). Somit lernt das Modell rechnerisch effizienter als mit BPTT ausgebildete RNNs und kann für das Online -Lernen verwendet werden.

Anforderungen

Unsere Implementierung ist leicht zu verfolgen und mit Kenntnis der grundlegenden linearen Algebra kann man die inneren Arbeiten des PTNCN -Algorithmus dekodieren. In diesem Rahmen haben wir einfache Module bereitgestellt. So hoffentlich sehr bequem, unser Rahmen auf Ebenen> 3 zu verlängern. Um den Code auszuführen, sollten Sie nur grundlegende Pakete benötigen:

1. TensorFlow (Version> = 2.0)
2. Numpy
3. Matplotlib
4. Python (Version> = 3.5)

Schulung des Systems auf der Penn Tree Bank (PTB)

Führen Sie einfach Python contptncn/src/train_discrete_ptncn.py aus

Tipps bei der Verwendung dieses Algorithmus/Modells in Ihren eigenen Datensätzen:

1. Verfolgen Sie Ihre lokalen Verluste und passen Sie den Hyperparametern für das Modell entsprechend an.
2. Spielen Sie mit ungleich Null, kleine Werte für die Gewichtsverfallskoeffizienten.
3. Spielen Sie mit Initialisierungswerten für rückwärts-/fehlersynaptische Gewichte (Variablen, die Kapital "E" in ihrem Namen enthalten)
4. Erhöhen Sie die Anzahl der Inferenzschritte (k), die die Optimierung der zugrunde liegenden freien Energiefunktion des Modells beeinflussen.

Zitat

Wenn Sie diesen Code/Algorithmus in Ihren Projekten in irgendeiner Form verwenden oder anpassen, oder den PTNCN/Parallel Temporal Predictive Coding -Algorithmus in Ihrer eigenen Arbeit hilfreich, zitieren Sie das Quellpapier dieses Codes:

 @article { ororbia2020continual ,
  title = { Continual learning of recurrent neural networks by locally aligning distributed representations } ,
  author = { Ororbia, Alexander and Mali, Ankur and Giles, C Lee and Kifer, Daniel } ,
  journal = { IEEE transactions on neural networks and learning systems } ,
  volume = { 31 } ,
  number = { 10 } ,
  pages = { 4267--4278 } ,
  year = { 2020 } ,
  publisher = { IEEE }
}