CfC

Modelos de tempo contínuo de forma fechada

As redes neurais de tempo contínuo de forma fechada (CFCs) são poderosas unidades de processamento de informações neurais líquidas sequenciais.

Acesso aberto em papel: https://www.nature.com/articles/s42256-022-00556-7

Arxiv: https://arxiv.org/abs/2106.13898

Um tutorial sobre redes neurais líquidas, incluindo CFCs líquidos: https://ncps.readthedocs.io/en/latest/quickstart.html

Requisitos

• Python3.6 ou mais recente
• Tensorflow 2.4 ou mais recente
• Pytorch 1.8 ou mais recente
• Pytorch-Lightning 1.3.0 ou mais recente
• Scikit-Learn 0,24.2 ou mais recente

Descrição do módulo

• tf_cfc.py Implementação do CFC (várias versões) no TensorFlow 2.x
• torch_cfc.py Implementação do CFC (várias versões) em Pytorch
• train_physio.py treina os modelos CFC no conjunto de dados Physionet 2012 em Pytorch (código adaptado de Rubanova et al. 2019)
• train_xor.py treina os modelos CFC no conjunto de dados XOR no TensorFlow (código adaptado de Lechner & Hasani, 2020)
• train_imdb.py treina os modelos CFC no conjunto de dados IMDB no TensorFlow (código adaptado do site dos exemplos de Keras)
• train_walker.py Treina os modelos CFC no conjunto de dados Walker2D em Tensorflow (código adaptado de Lechner & Hasani, 2020)
• irregular_sampled_datasets.py DATASETS (mesmas divisões) de Lechner & Hasani (2020)
• duv_physionet.py e duv_utils.py Physionet DataSet (mesma divisão) de Rubanova et al. (2019)

Uso

Todos os scripts de treinamento, exceto os três bandeiras a seguir

• no_gate executa o CFC sem a parte (1-sigmóide)
• Executa minimal da solução direta do CFC
• use_ltc executa um LTC com um solucionador de ODE semi-implícito em vez de um CFC
• use_mixed mistura o estado RNN do CFC com um LSTM para evitar gradientes de fuga

Se nenhuma dessas bandeiras for fornecida, o modelo completo do CFC será usado

Por exemplo

python3 train_physio.py

Treine o modelo completo do CFC no conjunto de dados Physionet.

De forma similar

train_walker.py --minimal

Executa a solução CFC direta no conjunto de dados Walker2D.

Para baixar o conjunto de dados Walker2D de Lechner & Hasani 2020, Run

 source download_dataset.sh

Citar

 @article{hasani_closed-form_2022,
	title = {Closed-form continuous-time neural networks},
	journal = {Nature Machine Intelligence},
	author = {Hasani, Ramin and Lechner, Mathias and Amini, Alexander and Liebenwein, Lucas and Ray, Aaron and Tschaikowski, Max and Teschl, Gerald and Rus, Daniela},
	issn = {2522-5839},
	month = nov,
	year = {2022},
}