CfC

Закрытая форма непрерывного времени модели

Нейронные сети с непрерывным временем в замкнутой форме (CFC) представляют собой мощные последовательные единицы обработки нейронной информации.

Открытый доступ бумаги: https://www.nature.com/articles/s42256-022-00556-7

Arxiv: https://arxiv.org/abs/2106.13898

Учебник по жидким нейронным сетям, включая жидкие CFCS: https://ncps.readthedocs.io/en/latest/quickstart.html

Требования

• Python3.6 или новее
• Tensorflow 2.4 или более новее
• Pytorch 1.8 или более новее
• Pytorch-Lightning 1.3.0 или более новее
• Scikit-learn 0,24,2 или новее

Описание модуля

• tf_cfc.py Реализация CFC (различные версии) в TensorFlow 2.x
• torch_cfc.py Внедрение CFC (различные версии) в Pytorch
• train_physio.py обучает модели CFC на наборе данных Physionet 2012 в Pytorch (код адаптирован из Rubanova et al. 2019)
• train_xor.py Trains модели CFC в наборе данных XOR в TensorFlow (код адаптирован из Lechner & Hasani, 2020)
• train_imdb.py Trains модели CFC в наборе данных IMDB в TensorFlow (код адаптирован с веб -сайта примеров Keras)
• train_walker.py обучает модели CFC на наборе данных Walker2D в TensorFlow (код адаптирован из Lechner & Hasani, 2020)
• Наборы данных irregular_sampled_datasets.py .
• duv_physionet.py и duv_utils.py Набор данных Physionet (то же разделение) от Rubanova et al. (2019)

Использование

Все тренировочные сценарии, кроме следующих трех флагов

• no_gate запускает CFC без (1-сигмоидной) части
• minimal запуска CFC Direct Solution
• use_ltc запускает LTC с полумамощным решателем ODE вместо CFC
• use_mixed смешивает RNN-государство CFC с LSTM, чтобы избежать исчезновения градиентов

Если ни один из этих флагов не предоставлен, используется полная модель CFC

Например

python3 train_physio.py

Обучите полную модель CFC на наборе данных Physionet.

Сходным образом

train_walker.py --minimal

Запускает прямое решение CFC в наборе данных Walker2D.

Для загрузки набора данных Walker2D от Lechner & Hasani 2020 Run

 source download_dataset.sh

Цитировать

 @article{hasani_closed-form_2022,
	title = {Closed-form continuous-time neural networks},
	journal = {Nature Machine Intelligence},
	author = {Hasani, Ramin and Lechner, Mathias and Amini, Alexander and Liebenwein, Lucas and Ray, Aaron and Tschaikowski, Max and Teschl, Gerald and Rus, Daniela},
	issn = {2522-5839},
	month = nov,
	year = {2022},
}