CfC

封閉形式的連續時間模型

封閉形式的連續時間神經網絡（CFC）是強大的順序液體神經信息處理單元。

紙張開放訪問：https：//www.nature.com/articles/s42256-022-00556-7

arxiv：https：//arxiv.org/abs/2106.13898

液體神經網絡的教程，包括液體CFC：https：//ncps.readthedocs.io/en/latest/quickstart.html

要求

• Python3.6或更新
• Tensorflow 2.4或更新
• Pytorch 1.8或更新
• pytorch-lightning 1.3.0或更新
• Scikit-Learn 0.24.2或更新

模塊描述

• tf_cfc.py實現CFC（各種版本）在Tensorflow 2.x中
• pytorch中CFC（各種版本）的torch_cfc.py實現
• train_physio.py在Pytorch的Physionet 2012數據集上訓練CFC模型（代碼改編自Rubanova等人，2019年）
• train_xor.py在tensorflow中的XOR數據集上訓練CFC模型（代碼改編自Lechner＆Hasani，2020年）
• train_imdb.py在tensorflow中的IMDB數據集上訓練CFC模型（根據KERAS示例網站改編的代碼）
• train_walker.py在TensorFlow的Walker2D數據集上訓練CFC模型（代碼改編自Lechner＆Hasani，2020）
• irregular_sampled_datasets.py數據集（相同的拆分）（2020年）
• duv_physionet.py and duv_utils.py Physionet數據集（相同的拆分）來自Rubanova等。 （2019）

用法

除以下三個標誌外，所有培訓腳本

• no_gate在沒有（1- sigmoid）部分的情況下運行CFC
• minimal運行CFC直接解決方案
• use_ltc使用半密碼ode求解器而不是CFC運行LTC
• use_mixed將CFC的RNN狀態與LSTM混合在一起，以避免消失的梯度

如果未提供這些標誌，則使用完整的CFC模型

例如

python3 train_physio.py

在Physionet數據集上訓練完整的CFC模型。

相似地

train_walker.py --minimal

在Walker2D數據集上運行直接的CFC解決方案。

用於下載Lechner＆Hasani 2020的Walker2D數據集，運行

 source download_dataset.sh

引用

 @article{hasani_closed-form_2022,
	title = {Closed-form continuous-time neural networks},
	journal = {Nature Machine Intelligence},
	author = {Hasani, Ramin and Lechner, Mathias and Amini, Alexander and Liebenwein, Lucas and Ray, Aaron and Tschaikowski, Max and Teschl, Gerald and Rus, Daniela},
	issn = {2522-5839},
	month = nov,
	year = {2022},
}