CfC

Modelle mit geschlossener Form

Closed Form Continuous Time Neural Networks (CFCs) sind leistungsstarke sequentielle Einheiten für die Verarbeitungseinheiten für flüssige neuronale Information.

Papier Open Access: https://www.nature.com/articles/s42256-022-00556-7

ARXIV: https://arxiv.org/abs/2106.13898

Ein Tutorial über flüssige neuronale Netze einschließlich flüssiger CFCs: https://ncps.readthedocs.io/en/latest/quickstart.html

Anforderungen

• Python3.6 oder neuer
• Tensorflow 2.4 oder neuer
• Pytorch 1.8 oder neuer
• Pytorch-Lightning 1.3.0 oder neuer
• Scikit-Learn 0,24,2 oder neuer

Modulbeschreibung

• tf_cfc.py -Implementierung der CFC (verschiedene Versionen) in TensorFlow 2.x
• torch_cfc.py -Implementierung des CFC (verschiedene Versionen) in Pytorch
• train_physio.py trainiert die CFC -Modelle im Dataset von Physineet 2012 in Pytorch (Code von Rubanova et al. 2019)
• train_xor.py trainiert die CFC -Modelle im XOR -Datensatz in TensorFlow (Code von Lechner & Hasani, 2020).
• train_imdb.py trainiert die CFC -Modelle im IMDB -Datensatz in TensorFlow (Code von der Website von Keras -Beispielen).
• train_walker.py trainiert die CFC -Modelle im Walker2d -Datensatz in TensorFlow (Code von Lechner & Hasani, 2020).
• irregular_sampled_datasets.py Datasets (gleiche Spaltungen) von Lechner & Hasani (2020)
• duv_physionet.py UND duv_utils.py MYSEILET -Datensatz (gleiche Split) von Rubanova et al. (2019)

Verwendung

Alle Trainingsskripte mit Ausnahme der folgenden drei Flaggen

• no_gate führt den CFC ohne den (1-Sigmoid) Teil aus
• minimal läuft die CFC Direct -Lösung aus
• use_ltc führt ein LTC mit einem semi-impliziten ODE-Löser anstelle eines CFC aus
• use_mixed mischt den RNN-Zustand des CFC mit einem LSTM, um Verschwandungsgradienten zu vermeiden

Wenn keines dieser Flags bereitgestellt wird, wird das vollständige CFC -Modell verwendet

Zum Beispiel

python3 train_physio.py

Trainieren Sie das vollständige CFC -Modell im Physineet -Datensatz.

Ähnlich

train_walker.py --minimal

Fährt die direkte CFC -Lösung im Walker2d -Datensatz aus.

Zum Herunterladen des Walker2d -Datensatzes von Lechner & Hasani 2020, Run

 source download_dataset.sh

Zitieren

 @article{hasani_closed-form_2022,
	title = {Closed-form continuous-time neural networks},
	journal = {Nature Machine Intelligence},
	author = {Hasani, Ramin and Lechner, Mathias and Amini, Alexander and Liebenwein, Lucas and Ray, Aaron and Tschaikowski, Max and Teschl, Gerald and Rus, Daniela},
	issn = {2522-5839},
	month = nov,
	year = {2022},
}