ContinualPTNCN

並列側頭神経コーディングネットワーク（P-TNCN）を使用した脳にインスパイアされたモデリング：局所再発性および並列予測コーディング

局所的に再発性予測コーディングモデルを導入します。これは、並列側頭神経コーディングネットワーク（P-TNCN）と特異的に呼ばれる神経模倣システムです。古典的な再発性ニューラルネットワーク（RNNS）とは異なり、提案されたモデルは、そのニューロンのダイナミクスに対する推論を実施し、洞察力のつながりの強さをローカルに適応させます。その結果、基礎となる一時的なモデルでは、時間内に勾配を計算する必要はありません（「展開」または「解散」とも呼ばれます）。したがって、このモデルは、BPTTでトレーニングされたRNNSよりも計算的に効率的な方法で学習し、オンライン学習に使用できます。

要件

私たちの実装は簡単に従うことができ、基本的な線形代数の知識があれば、PTNCNアルゴリズムの内側の動作をデコードできます。このフレームワークでは、簡単なモジュールを提供しています。したがって、フレームワークをレイヤー以上に拡張するのが非常に便利になることを願っています。コードを実行するには、基本的なパッケージに従う必要があります。

1. Tensorflow（バージョン> = 2.0）
2. numpy
3. matplotlib
4. Python（バージョン> = 3.5）

Penn Tree Bank（PTB）でシステムをトレーニングする

python contptncn/src/train_discrete_ptncn.pyを実行するだけです

独自のデータセットでこのアルゴリズム/モデルを使用する際のヒント：

1. 地元の損失を追跡し、それに応じてモデルのハイパーパラメーターを調整します。
2. 重量減衰係数のゼロ以外の小さな値で再生します。
3. 後方/エラーシナプス重みの初期化値で再生（名前に資本「e」を含む変数）
4. モデルの基礎となるフリーエネルギー機能の最適化に影響する推論ステップ（k）の数を増やします。

引用

このコード/アルゴリズムをプロジェクトのあらゆる形式で使用または適応させるか（その一部）、PTNCN/並列時間予測コーディングアルゴリズムを自分の作業で役立つ場合は、このコードのソースペーパーを引用してください。

 @article { ororbia2020continual ,
  title = { Continual learning of recurrent neural networks by locally aligning distributed representations } ,
  author = { Ororbia, Alexander and Mali, Ankur and Giles, C Lee and Kifer, Daniel } ,
  journal = { IEEE transactions on neural networks and learning systems } ,
  volume = { 31 } ,
  number = { 10 } ,
  pages = { 4267--4278 } ,
  year = { 2020 } ,
  publisher = { IEEE }
}