ContinualPTNCN

Modelado inspirado en el cerebro con una red de codificación neural temporal paralela (P-TNCN): codificación predictiva recurrente y paralela local

Introducimos un modelo de codificación predictiva localmente recurrente, un sistema neuromimético que se llamaba específicamente la red de codificación neural temporal paralela (P-TNCN). A diferencia de las redes neuronales recurrentes clásicas (RNN), nuestro modelo propuesto lleva a cabo una inferencia sobre su dinámica neuronal y adapta sus fuerzas de conexión sinpáticas de manera local, es decir, utiliza ajustes sinápticos de forma hebbiana. Como resultado, el modelo temporal subyacente no requiere gradientes de computación hacia atrás en el tiempo (también conocido como "despliegue" o "desenrollado" a través del tiempo); Por lo tanto, el modelo aprende de una manera más computacionalmente más eficiente que los RNN capacitados con BPTT y puede usarse para el aprendizaje en línea.

Requisitos

Nuestra implementación es fácil de seguir y, con el conocimiento del álgebra lineal básica, uno puede decodificar el funcionamiento interno del algoritmo PTNCN. En este marco, hemos proporcionado módulos simples; Por lo tanto, es de esperar que sea muy conveniente extender nuestro marco a las capas> 3. Para ejecutar el código, solo debe necesitar los siguientes paquetes básicos:

1. TensorFlow (versión> = 2.0)
2. Numpy
3. Mate
4. Python (versión> = 3.5)

Capacitación del sistema en Penn Tree Bank (PTB)

Simplemente ejecute Python Contptncn/Src/Train_Discrete_Ptncn.py

Consejos mientras usa este algoritmo/modelo en sus propios conjuntos de datos:

1. Rastree sus pérdidas locales y, en consecuencia, ajuste los hiperparametros para el modelo.
2. Juega con valores no cerosos y pequeños para los coeficientes de descomposición de peso.
3. Juega con los valores de inicialización para pesos sinápticos hacia atrás/de error (variables que contienen capital "E" en su nombre)
4. Aumento del número de pasos de inferencia (k), que afectan la optimización de la funcional de energía libre subyacente del modelo.

Citación

Si usa o adapta (porciones de) este código/algoritmo en cualquier forma de su (s) proyecto (s), o encuentre útil el algoritmo de codificación predictiva temporal PTNCN/paralelo en su propio trabajo, cite el documento fuente de este código:

 @article { ororbia2020continual ,
  title = { Continual learning of recurrent neural networks by locally aligning distributed representations } ,
  author = { Ororbia, Alexander and Mali, Ankur and Giles, C Lee and Kifer, Daniel } ,
  journal = { IEEE transactions on neural networks and learning systems } ,
  volume = { 31 } ,
  number = { 10 } ,
  pages = { 4267--4278 } ,
  year = { 2020 } ,
  publisher = { IEEE }
}