ContinualPTNCN

通过平行时间神经编码网络（P-TNCN）的脑启发建模：局部复发和并行预测编码

我们引入了局部反复的预测编码模型，这是一种神经模拟系统，该模拟系统被专门称为平行的时间神经编码网络（P-TNCN）。与经典的复发性神经网络（RNN）不同，我们提出的模型对其神经元动力学进行了推断，并以局部方式适应了其突触连接强度，即，它利用了Hebbian样突触调节。结果，基本的时间模型不需要时间向后计算梯度（也称为“展开”或“展开”，然后返回时间）；因此，该模型比接受BPTT培训的RNN更有效地学习，可用于在线学习。

要求

我们的实现很容易遵循，并且借助基本线性代数的知识，可以解码PTNCN算法的内部工作。在此框架中，我们提供了简单的模块。因此，希望将我们的框架扩展到> 3的图层非常方便。要运行代码，您只需要以下基本软件包：

1. TensorFlow（版本> = 2.0）
2. numpy
3. matplotlib
4. Python（版本> = 3.5）

在Penn Tree Bank（PTB）上培训系统

只需运行python contptncn/src/train_discrete_ptncn.py

提示在您自己的数据集上使用此算法/模型时：

1. 跟踪您的本地损失，并因此调整模型的超参数。
2. 使用非零的重量衰减系数的小值。
3. 使用向后/错误突触权重的初始化值（以其名称包含资本“ E”的变量）
4. 增加推理步骤（k）的数量，这会影响模型基本的自由能功能的优化。

引用

如果您以项目中的任何形式使用或适应此代码/算法的（部分），或者找到PTNCN/Parallel Peralaler Perimal Predictive编码算法对您自己的工作有用，请引用该代码的源文件：

 @article { ororbia2020continual ,
  title = { Continual learning of recurrent neural networks by locally aligning distributed representations } ,
  author = { Ororbia, Alexander and Mali, Ankur and Giles, C Lee and Kifer, Daniel } ,
  journal = { IEEE transactions on neural networks and learning systems } ,
  volume = { 31 } ,
  number = { 10 } ,
  pages = { 4267--4278 } ,
  year = { 2020 } ,
  publisher = { IEEE }
}