ContinualPTNCN

通過平行時間神經編碼網絡（P-TNCN）的腦啟發建模：局部復發和並行預測編碼

我們引入了局部反复的預測編碼模型，這是一種神經模擬系統，該模擬系統被專門稱為平行的時間神經編碼網絡（P-TNCN）。與經典的複發性神經網絡（RNN）不同，我們提出的模型對其神經元動力學進行了推斷，並以局部方式適應了其突觸連接強度，即，它利用了Hebbian樣突觸調節。結果，基本的時間模型不需要時間向後計算梯度（也稱為“展開”或“展開”，然後返回時間）；因此，該模型比接受BPTT培訓的RNN更有效地學習，可用於在線學習。

要求

我們的實現很容易遵循，並且借助基本線性代數的知識，可以解碼PTNCN算法的內部工作。在此框架中，我們提供了簡單的模塊。因此，希望將我們的框架擴展到> 3的圖層非常方便。要運行代碼，您只需要以下基本軟件包：

1. TensorFlow（版本> = 2.0）
2. numpy
3. matplotlib
4. Python（版本> = 3.5）

在Penn Tree Bank（PTB）上培訓系統

只需運行python contptncn/src/train_discrete_ptncn.py

提示在您自己的數據集上使用此算法/模型時：

1. 跟踪您的本地損失，並因此調整模型的超參數。
2. 使用非零的重量衰減係數的小值。
3. 使用向後/錯誤突觸權重的初始化值（以其名稱包含資本“ E”的變量）
4. 增加推理步驟（k）的數量，這會影響模型基本的自由能功能的優化。

引用

如果您以項目中的任何形式使用或適應此代碼/算法的（部分），或者找到PTNCN/Parallel Peralaler Perimal Predictive編碼算法對您自己的工作有用，請引用該代碼的源文件：

 @article { ororbia2020continual ,
  title = { Continual learning of recurrent neural networks by locally aligning distributed representations } ,
  author = { Ororbia, Alexander and Mali, Ankur and Giles, C Lee and Kifer, Daniel } ,
  journal = { IEEE transactions on neural networks and learning systems } ,
  volume = { 31 } ,
  number = { 10 } ,
  pages = { 4267--4278 } ,
  year = { 2020 } ,
  publisher = { IEEE }
}