CfC

Modelos de tiempo continuo de forma cerrada

Las redes neuronales de tiempo continuo (CFC) de forma continua son poderosas unidades secuenciales de procesamiento de información neuronal líquida.

Acceso abierto en papel: https://www.nature.com/articles/s42256-022-00556-7

Arxiv: https://arxiv.org/abs/2106.13898

Un tutorial sobre redes neuronales líquidas que incluyen CFC líquidos: https://ncps.readthedocs.io/en/latest/quickstart.html

Requisitos

• Python3.6 o más nuevo
• TensorFlow 2.4 o más nuevo
• Pytorch 1.8 o más nuevo
• Pytorch-Lightning 1.3.0 o más nuevo
• Scikit-Learn 0.24.2 o más nuevo

Descripción del módulo

• tf_cfc.py Implementación del CFC (varias versiones) en TensorFlow 2.x
• torch_cfc.py Implementación del CFC (varias versiones) en Pytorch
• train_physio.py entrena los modelos CFC en el conjunto de datos de Physionet 2012 en Pytorch (código adaptado de Rubanova et al. 2019)
• train_xor.py entrena los modelos CFC en el conjunto de datos XOR en TensorFlow (código adaptado de Lechner & Hasani, 2020)
• train_imdb.py entrena los modelos CFC en el conjunto de datos IMDB en TensorFlow (código adaptado del sitio web de ejemplos de Keras)
• train_walker.py entrena los modelos CFC en el conjunto de datos Walker2D en TensorFlow (código adaptado de Lechner & Hasani, 2020)
• irregular_sampled_datasets.py DataSets (mismas divisiones) de Lechner & Hasani (2020)
• duv_physionet.py y duv_utils.py Physionet DataSet (misma división) de Rubanova et al. (2019)

Uso

Todos los guiones de entrenamiento excepto las siguientes tres banderas

• no_gate ejecuta el CFC sin la parte (1-Sigmoid)
• minimal ejecuta la solución directa de CFC
• use_ltc ejecuta un LTC con un solucionador de ODE semi-implícito en lugar de un CFC
• use_mixed mezcla el estado RNN del CFC con un LSTM para evitar gradientes de desaparición

Si no se proporcionan ninguna de estas banderas, se utiliza el modelo CFC completo

Por ejemplo

python3 train_physio.py

Entrena el modelo CFC completo en el conjunto de datos de Physionet.

Similarmente

train_walker.py --minimal

Ejecuta la solución CFC directa en el conjunto de datos Walker2D.

Para descargar el conjunto de datos Walker2D de Lechner & Hasani 2020, Run

 source download_dataset.sh

Citar

 @article{hasani_closed-form_2022,
	title = {Closed-form continuous-time neural networks},
	journal = {Nature Machine Intelligence},
	author = {Hasani, Ramin and Lechner, Mathias and Amini, Alexander and Liebenwein, Lucas and Ray, Aaron and Tschaikowski, Max and Teschl, Gerald and Rus, Daniela},
	issn = {2522-5839},
	month = nov,
	year = {2022},
}