CfC

폐쇄 형 지속 시간 모델

폐쇄 형식 연속 시간 신경망 (CFC)은 강력한 순차적 액체 신경 정보 처리 장치입니다.

종이 오픈 액세스 : https://www.nature.com/articles/s42256-022-00556-7

arxiv : https://arxiv.org/abs/2106.13898

액체 CFC를 포함한 액체 신경망에 대한 튜토리얼 : https://ncps.readthedocs.io/en/latest/quickstart.html

요구 사항

• Python3.6 또는 새로운
• Tensorflow 2.4 또는 최신
• Pytorch 1.8 이상
• Pytorch-lightning 1.3.0 또는 새로
• Scikit-Learn 0.24.2 또는 최신

모듈 설명

• tf_cfc.py tensorflow 2.x에서 CFC (다양한 버전) 구현
• Pytorch에서 CFC (다양한 버전)의 torch_cfc.py 구현
• train_physio.py Pytorch의 Physionet 2012 데이터 세트에서 CFC 모델을 훈련시킵니다 (Rubanova et al. 2019에서 조정 된 코드)
• train_xor.py XOR 데이터 세트의 CFC 모델을 TensorFlow (2020 년 Lechner & Hasani, 2020)에서 조정했습니다)
• train_imdb.py Tensorflow의 IMDB 데이터 세트에서 CFC 모델을 훈련시킵니다 (Keras 예제 웹 사이트에서 조정 된 코드)
• train_walker.py Tensorflow의 Walker2D 데이터 세트에서 CFC 모델을 훈련시킵니다 (2020 년 Lechner & Hasani에서 조정 된 코드)
• Lechner & Hasani (2020)의 irregular_sampled_datasets.py 데이터 세트 (동일한 스플릿)
• duv_utils.py et duv_physionet.py . (2019)

용법

다음 세 플래그를 제외한 모든 훈련 스크립트

• no_gate (1-Sigmoid) 부분없이 CFC를 실행합니다
• minimal CFC 직접 솔루션을 실행합니다
• use_ltc CFC 대신 반향식 ODE 솔버로 LTC를 실행
• use_mixed 는 CFC의 RNN-State를 LSTM과 혼합하여 사라지는 그라디언트를 피합니다.

이 플래그 중 어느 것도 제공되지 않으면 전체 CFC 모델이 사용됩니다.

예를 들어

python3 train_physio.py

Physionet 데이터 세트에서 전체 CFC 모델을 교육하십시오.

비슷하게

train_walker.py --minimal

Walker2D 데이터 세트에서 직접 CFC 솔루션을 실행합니다.

Lechner & Hasani 2020의 Walker2d 데이터 세트를 다운로드하려면

 source download_dataset.sh

인용문

 @article{hasani_closed-form_2022,
	title = {Closed-form continuous-time neural networks},
	journal = {Nature Machine Intelligence},
	author = {Hasani, Ramin and Lechner, Mathias and Amini, Alexander and Liebenwein, Lucas and Ray, Aaron and Tschaikowski, Max and Teschl, Gerald and Rus, Daniela},
	issn = {2522-5839},
	month = nov,
	year = {2022},
}