CfC

Modèles à temps continu en forme fermée

Les réseaux de neurones à temps fermé fermé (CFC) sont de puissantes unités de traitement des informations neuronales liquides séquentielles.

Paper Open Access: https://www.nature.com/articles/s42256-022-00556-7

ArXiv: https://arxiv.org/abs/2106.13898

Un tutoriel sur les réseaux de neurones liquides, y compris les CFC liquides: https://ncps.readthedocs.io/en/latest/quickstart.html

Exigences

• Python3.6 ou plus récent
• TensorFlow 2.4 ou plus récent
• Pytorch 1.8 ou plus récent
• pytorch-lightning 1.3.0 ou plus récent
• Scikit-Learn 0,24,2 ou plus récent

Description du module

• tf_cfc.py Implémentation du CFC (diverses versions) dans TensorFlow 2.x
• torch_cfc.py Implémentation du CFC (diverses versions) dans Pytorch
• train_physio.py forme les modèles CFC sur l'ensemble de données Physionet 2012 à Pytorch (code adapté de Rubanova et al. 2019)
• train_xor.py forme les modèles CFC sur l'ensemble de données XOR dans TensorFlow (code adapté de Lechner & Hasani, 2020)
• train_imdb.py forme les modèles CFC sur l'ensemble de données IMDB dans TensorFlow (code adapté du site Web des exemples de Keras)
• train_walker.py forme les modèles CFC sur l'ensemble de données Walker2D dans TensorFlow (code adapté de Lechner & Hasani, 2020)
• irregular_sampled_datasets.py DataSets (même divisions) de Lechner & Hasani (2020)
• duv_physionet.py et duv_utils.py PHYSIONET Dataset (même scission) de Rubanova et al. (2019)

Usage

Tous les scripts de formation sauf les trois drapeaux suivants

• no_gate exécute le CFC sans la partie (1 sigmoïde)
• Exécute minimal la solution directe CFC
• use_ltc exécute un LTC avec un solveur ODE semi-implicite au lieu d'un CFC
• use_mixed mélange l'état RNN du CFC avec un LSTM pour éviter de disparaître les gradients

Si aucun de ces drapeaux n'est fourni, le modèle CFC complet est utilisé

Par exemple

python3 train_physio.py

Formez le modèle CFC complet sur l'ensemble de données Physionet.

De la même manière

train_walker.py --minimal

Exécute la solution CFC directe sur l'ensemble de données Walker2D.

Pour télécharger l'ensemble de données Walker2D de Lechner & Hasani 2020, exécutez

 source download_dataset.sh

Citer

 @article{hasani_closed-form_2022,
	title = {Closed-form continuous-time neural networks},
	journal = {Nature Machine Intelligence},
	author = {Hasani, Ramin and Lechner, Mathias and Amini, Alexander and Liebenwein, Lucas and Ray, Aaron and Tschaikowski, Max and Teschl, Gerald and Rus, Daniela},
	issn = {2522-5839},
	month = nov,
	year = {2022},
}