ContinualPTNCN

النمذجة المستوحاة من الدماغ مع شبكة الترميز العصبي الزمني المتوازي (P-TNCN): الترميز التنبئي المتكرر والتوازي المحلي

نقدم نموذج ترميز تنبؤي متكرر محليًا ، وهو نظام محيط عصبي تم تسميته على وجه التحديد شبكة الترميز العصبي الزمني المتوازي (P-TNCN). على عكس الشبكات العصبية المتكررة الكلاسيكية (RNNs) ، فإن نموذجنا المقترح يجري استنتاجًا على دينامياتها العصبية ويتكيف مع نقاط اتصالها الصارمة بطريقة محلية ، أي أنه يستخدم تعديلات متشابكة تشبه الهيبان. ونتيجة لذلك ، لا يتطلب النموذج الزمني الأساسي تدرجات الحوسبة للخلف في الوقت المناسب (المعروف أيضًا باسم "التكشف" أو "عدم التواء" عبر الزمن) ؛ وبالتالي ، يتعلم النموذج بطريقة أكثر فعالية من الناحية الحسابية من RNNs المدربة مع BPTT ويمكن استخدامها للتعلم عبر الإنترنت.

متطلبات

من السهل اتباع تنفيذنا ، ومع معرفة الجبر الخطي الأساسي ، يمكن للمرء فك تشفير الأعمال الداخلية لخوارزمية PTNCN. في هذا الإطار ، قدمنا ​​وحدات بسيطة ؛ وبالتالي ، نأمل أن تجعل من المريح للغاية تمديد إطار عملنا إلى الطبقات> 3. لتشغيل الرمز ، يجب أن تحتاج فقط إلى اتباع الحزم الأساسية:

1. TensorFlow (الإصدار> = 2.0)
2. numpy
3. Matplotlib
4. بيثون (الإصدار> = 3.5)

تدريب النظام على Penn Tree Bank (PTB)

ما عليك سوى تشغيل Python contptncn/src/train_discrete_ptncn.py

نصائح أثناء استخدام هذه الخوارزمية/النموذج على مجموعات البيانات الخاصة بك:

1. تتبع خسائرك المحلية ، وبناءً على ذلك ، قم بضبط المعلمات المفرطة للنموذج.
2. العب مع غير صفري ، قيم صغيرة لمعاملات تسوس الوزن.
3. العب مع قيم التهيئة للأوزان المتشابكة للخلف/الخطأ (المتغيرات التي تحتوي على رأس المال "E" باسمها)
4. زيادة عدد خطوات الاستدلال (K) ، والتي تؤثر على تحسين وظائف الطاقة الحرة الأساسية للنموذج.

اقتباس

إذا كنت تستخدم أو تكيف (أجزاء من) هذه الكود/الخوارزمية بأي شكل من الأشكال في مشروعك (مشروعك) ، أو ابحث عن خوارزمية الترميز التنبؤية PTNCN/متوازية مفيدة في عملك ، يرجى استشهاد ورقة مصدر هذا الرمز:

 @article { ororbia2020continual ,
  title = { Continual learning of recurrent neural networks by locally aligning distributed representations } ,
  author = { Ororbia, Alexander and Mali, Ankur and Giles, C Lee and Kifer, Daniel } ,
  journal = { IEEE transactions on neural networks and learning systems } ,
  volume = { 31 } ,
  number = { 10 } ,
  pages = { 4267--4278 } ,
  year = { 2020 } ,
  publisher = { IEEE }
}