CfC

รุ่นต่อเนื่องแบบปิดแบบฟอร์ม

Neural Networks (CFCs) แบบต่อเนื่องแบบฟอร์มเป็นแบบจำลองเป็นหน่วยการประมวลผลข้อมูลระบบประสาทของเหลวต่อเนื่องที่ทรงพลัง

การเข้าถึงกระดาษเปิด: https://www.nature.com/articles/S42256-022-00556-7

arxiv: https://arxiv.org/abs/2106.13898

การสอนเกี่ยวกับเครือข่ายประสาทเหลวรวมถึง CFC ของเหลว: https://ncps.readthedocs.io/en/latest/quickstart.html

ความต้องการ

• Python3.6 หรือใหม่กว่า
• Tensorflow 2.4 หรือใหม่กว่า
• Pytorch 1.8 หรือใหม่กว่า
• Pytorch-Lightning 1.3.0 หรือใหม่กว่า
• Scikit-learn 0.24.2 หรือใหม่กว่า

คำอธิบายโมดูล

• การใช้งาน tf_cfc.py ของ CFC (เวอร์ชันต่าง ๆ ) ใน TensorFlow 2.x
• torch_cfc.py การใช้งาน CFC (เวอร์ชันต่าง ๆ ) ใน Pytorch
• train_physio.py ฝึกอบรมรุ่น CFC ในชุดข้อมูล Physionet 2012 ใน Pytorch (รหัสดัดแปลงจาก Rubanova et al. 2019)
• train_xor.py ฝึกอบรมรุ่น CFC บนชุดข้อมูล XOR ใน TensorFlow (รหัสดัดแปลงจาก Lechner & Hasani, 2020)
• train_imdb.py ฝึกอบรมรุ่น CFC บนชุดข้อมูล IMDB ใน TensorFlow (รหัสที่ดัดแปลงมาจากเว็บไซต์ตัวอย่าง Keras)
• train_walker.py ฝึกอบรมรุ่น CFC บนชุดข้อมูล Walker2D ใน TensorFlow (รหัสดัดแปลงจาก Lechner & Hasani, 2020)
• ชุดข้อมูล irregular_sampled_datasets.py ข้อมูล (แยกเดียวกัน) จาก Lechner & Hasani (2020)
• duv_physionet.py และ duv_utils.py ชุดข้อมูล Physionet (แยกเดียวกัน) จาก Rubanova และคณะ (2019)

การใช้งาน

สคริปต์การฝึกอบรมทั้งหมดยกเว้นธงสามตัวต่อไปนี้

• no_gate เรียกใช้ CFC โดยไม่มีส่วน (1-sigmoid)
• เรียกใช้โซลูชัน Direct CFC minimal
• use_ltc เรียกใช้ LTC ด้วยตัวแก้ปัญหา ODE แบบกึ่งโดยปริยายแทน CFC
• use_mixed ผสม RNN-state ของ CFC กับ LSTM เพื่อหลีกเลี่ยงการไล่ระดับสีที่หายไป

หากไม่มีการจัดทำธงเหล่านี้จะใช้โมเดล CFC แบบเต็มรูปแบบ

เช่น

python3 train_physio.py

ฝึกอบรมโมเดล CFC เต็มรูปแบบบนชุดข้อมูล Physionet

ในทำนองเดียวกัน

train_walker.py --minimal

เรียกใช้โซลูชัน CFC โดยตรงบนชุดข้อมูล Walker2D

สำหรับการดาวน์โหลดชุดข้อมูล Walker2D ของ Lechner & Hasani 2020

 source download_dataset.sh

อ้างถึง

 @article{hasani_closed-form_2022,
	title = {Closed-form continuous-time neural networks},
	journal = {Nature Machine Intelligence},
	author = {Hasani, Ramin and Lechner, Mathias and Amini, Alexander and Liebenwein, Lucas and Ray, Aaron and Tschaikowski, Max and Teschl, Gerald and Rus, Daniela},
	issn = {2522-5839},
	month = nov,
	year = {2022},
}