ContinualPTNCN

Modélisation inspirée du cerveau avec réseau de codage neuronal temporel parallèle (P-TNCN): codage prédictif récurrent et parallèle local

Nous introduisons un modèle de codage prédictif récurrent localement, un système neuro-mimétique qui a été spécifiquement nommé le réseau de codage neuronal temporel parallèle (P-TNCN). Contrairement aux réseaux de neurones récurrents classiques (RNN), notre modèle proposé effectue une inférence sur sa dynamique neuronale et adapte ses forces de connexion syspatiques de manière locale, c'est-à-dire qu'elle utilise des ajustements synaptiques de type hébbien. En conséquence, le modèle temporel sous-jacent ne nécessite pas de calculs de calcul en arrière dans le temps (également connu sous le nom de "déploiement" ou de "déroulant" dans le temps); Ainsi, le modèle apprend de manière plus efficace plus efficace que les RNN formés avec BPTT et peuvent être utilisés pour l'apprentissage en ligne.

Exigences

Notre implémentation est facile à suivre et, avec une connaissance de l'algèbre linéaire de base, on peut décoder le fonctionnement interne de l'algorithme PTNCN. Dans ce cadre, nous avons fourni des modules simples; Espérons donc que ce soit très pratique d'étendre notre cadre aux couches> 3. Pour exécuter le code, vous ne devez avoir besoin que de suivre les packages de base:

1. TensorFlow (version> = 2.0)
2. Nombant
3. Matplotlib
4. Python (version> = 3,5)

Formation du système sur Penn Tree Bank (PTB)

Exécutez simplement Python Contptncn / Src / Train_Discrete_ptncn.py

Conseils lors de l'utilisation de cet algorithme / modèle sur vos propres ensembles de données:

1. Suivez vos pertes locales et ajustez en conséquence les hyper paramètres du modèle.
2. Jouez avec des valeurs non nulles et petites pour les coefficients de décroissance du poids.
3. Jouez avec les valeurs d'initialisation pour les poids synaptiques en arrière / erreur (variables qui contiennent du capital "E" en leur nom)
4. Augmenter le nombre d'étapes d'inférence (k), qui affectent l'optimisation de la fonction de l'énergie libre sous-jacente du modèle.

Citation

Si vous utilisez ou adaptez (parties de) ce code / algorithme sous n'importe quelle forme de votre (s) projet (s), ou trouvez l'algorithme de codage prédictif temporel PTNCN / parallèle utile dans votre propre travail, veuillez citer le document source de ce code:

 @article { ororbia2020continual ,
  title = { Continual learning of recurrent neural networks by locally aligning distributed representations } ,
  author = { Ororbia, Alexander and Mali, Ankur and Giles, C Lee and Kifer, Daniel } ,
  journal = { IEEE transactions on neural networks and learning systems } ,
  volume = { 31 } ,
  number = { 10 } ,
  pages = { 4267--4278 } ,
  year = { 2020 } ,
  publisher = { IEEE }
}