ContinualPTNCN

การสร้างแบบจำลองที่ได้แรงบันดาลใจจากสมองด้วยเครือข่ายการเข้ารหัสประสาทชั่วคราวแบบขนาน (P-TNCN): การเข้ารหัสการทำนายแบบซ้ำและแบบขนานในท้องถิ่น

เราแนะนำรูปแบบการเข้ารหัสการทำนายที่เกิดขึ้นซ้ำในท้องถิ่นซึ่งเป็นระบบการใช้ระบบประสาทที่มีชื่อเฉพาะเครือ ข่ายการเข้ารหัสประสาทชั่วคราวแบบขนาน (P-TNCN) ซึ่งแตกต่างจากเครือข่ายประสาทแบบคลาสสิก (RNNS) แบบจำลองที่เราเสนอดำเนินการอนุมานเกี่ยวกับการเปลี่ยนแปลงของเซลล์ประสาทและปรับความแข็งแกร่งการเชื่อมต่อแบบ synpatic ในลักษณะท้องถิ่นเช่นมันใช้การปรับ synaptic เหมือน Hebbian เป็นผลให้แบบจำลองชั่วคราวไม่จำเป็นต้องมีการไล่ระดับสีย้อนหลังในเวลา (หรือที่เรียกว่า "ตีแผ่" หรือ "คลี่" ย้อนเวลากลับไป); ดังนั้นแบบจำลองจะเรียนรู้วิธีการคำนวณที่มีประสิทธิภาพมากกว่า RNNs ที่ได้รับการฝึกฝนกับ BPTT และสามารถใช้สำหรับการเรียนรู้ออนไลน์

ความต้องการ

การใช้งานของเรานั้นง่ายต่อการติดตามและด้วยความรู้เกี่ยวกับพีชคณิตเชิงเส้นพื้นฐานเราสามารถถอดรหัสการทำงานภายในของอัลกอริทึม PTNCN ได้ ในกรอบนี้เราได้จัดทำโมดูลอย่างง่าย หวังว่าจะทำให้สะดวกมากที่จะขยายกรอบของเราไปยังเลเยอร์> 3 ในการเรียกใช้รหัสคุณควรต้องติดตามแพ็คเกจพื้นฐานเท่านั้น:

1. tensorflow (เวอร์ชัน> = 2.0)
2. นม
3. matplotlib
4. Python (เวอร์ชัน> = 3.5)

การฝึกอบรมระบบบน Penn Tree Bank (PTB)

เพียงเรียกใช้ python contptncn/src/train_discrete_ptncn.py

เคล็ดลับในการใช้อัลกอริทึม/โมเดลนี้ในชุดข้อมูลของคุณเอง:

1. ติดตามการสูญเสียในพื้นที่ของคุณและปรับพารามิเตอร์ไฮเปอร์สำหรับรุ่น
2. เล่นกับค่าที่ไม่เป็นศูนย์ค่าเล็กสำหรับค่าสัมประสิทธิ์การสลายตัวของน้ำหนัก
3. เล่นกับค่าเริ่มต้นสำหรับน้ำหนัก synaptic ย้อนหลัง/ข้อผิดพลาด (ตัวแปรที่มีทุน "e" ในชื่อของพวกเขา)
4. การเพิ่มจำนวนขั้นตอนการอนุมาน (k) ซึ่งส่งผลต่อการเพิ่มประสิทธิภาพของการทำงานของโมเดลที่ใช้พลังงานฟรี

การอ้างอิง

หากคุณใช้หรือปรับ (บางส่วนของ) รหัส/อัลกอริทึมนี้ในรูปแบบใด ๆ ในโครงการของคุณหรือค้นหาอัลกอริทึมการทำนายการทำนาย PTNCN/แบบขนาน

 @article { ororbia2020continual ,
  title = { Continual learning of recurrent neural networks by locally aligning distributed representations } ,
  author = { Ororbia, Alexander and Mali, Ankur and Giles, C Lee and Kifer, Daniel } ,
  journal = { IEEE transactions on neural networks and learning systems } ,
  volume = { 31 } ,
  number = { 10 } ,
  pages = { 4267--4278 } ,
  year = { 2020 } ,
  publisher = { IEEE }
}