CfC

閉形型の連続時間モデル

クローズドフォーム連続時間ニューラルネットワーク（CFC）は、強力な液体神経情報処理ユニットです。

紙のオープンアクセス：https：//www.nature.com/articles/S42256-022-00556-7

arxiv：https：//arxiv.org/abs/2106.13898

液体CFCSを含む液体ニューラルネットワークに関するチュートリアル：https：//ncps.readthedocs.io/en/latest/quickstart.html

要件

• python3.6以下
• Tensorflow 2.4以下
• Pytorch 1.8以降
• Pytorch-Lightning 1.3.0以降
• Scikit-Learn0.24.2以下

モジュールの説明

• tf_cfc.py Tensorflow 2.xでのCFC（さまざまなバージョン）の実装
• PytorchでのCFC（さまざまなバージョン）のtorch_cfc.py実装
• train_physio.py PytorchのPhysionet 2012データセットでCFCモデルを訓練します（Rubanova etal。2019から編集されたコード）
• train_xor.py TensorFlowのXORデータセットのCFCモデルを列車
• train_imdb.py TensorflowのIMDBデータセットでCFCモデルをトレーニングします（Keras ExamplesのWebサイトから編集されたコード）
• train_walker.py Trains The TensorflowのWalker2DデータセットでCFCモデルをトレーニングします（Lechner＆Hasani、2020から採用）
• Rechner＆Hasani（2020）からのirregular_sampled_datasets.pyデータセット（同じスプリット）
• duv_physionet.py and duv_utils.py Physionet Dataset（同じ分割）Rubanova et al。 （2019）

使用法

次の3つのフラグを除くすべてのトレーニングスクリプト

• no_gate 、（1シグモイド）部分なしでCFCを実行します
• minimal実行CFCダイレクトソリューションを実行します
• use_ltc 、CFCの代わりに半インプリティオードソルバーでLTCを実行します
• use_mixed 、CFCのRNN状態をLSTMとミックスして、勾配の消失を避けるために

これらのフラグが提供されていない場合、完全なCFCモデルが使用されます

例えば

python3 train_physio.py

Physionetデータセットで完全なCFCモデルをトレーニングします。

同様に

train_walker.py --minimal

Walker2Dデータセットで直接CFCソリューションを実行します。

Lechner＆Hasani 2020のWalker2Dデータセットをダウンロードするには、実行してください

 source download_dataset.sh

引用

 @article{hasani_closed-form_2022,
	title = {Closed-form continuous-time neural networks},
	journal = {Nature Machine Intelligence},
	author = {Hasani, Ramin and Lechner, Mathias and Amini, Alexander and Liebenwein, Lucas and Ray, Aaron and Tschaikowski, Max and Teschl, Gerald and Rus, Daniela},
	issn = {2522-5839},
	month = nov,
	year = {2022},
}