ContinualPTNCN

Моделирование вдохновленного мозгом с параллельной сетью временного нейронного кодирования (P-TNCN): локальное повторяемое и параллельное прогнозное кодирование

Мы вводим локально рецидивирующую модель прогнозирующего кодирования, нейро-миметическую систему, которая была специально названа параллельной сетью временного нейронного кодирования (P-TNCN). В отличие от классических повторяющихся нейронных сетей (RNNS), наша предлагаемая модель проводит вывод над своей нейрональной динамикой и адаптирует синпатические силы подключения в локальной стороне, то есть, она использует хеббияноподобные синаптические корректировки. В результате базовая временная модель не требует вычислительных градиентов назад во времени (также известного как «разворачивание» или «развертывание» обратно во времени); Таким образом, модель учится более эффективно, чем RNN, обученные BPTT, и может использоваться для онлайн -обучения.

Требования

Наша реализация легко следовать, и со знанием основной линейной алгебры можно расшифровать внутреннюю работу алгоритма PTNCN. В этой структуре мы предоставили простые модули; Таким образом, мы надеемся, что очень удобно расширить нашу структуру до слоев> 3. Чтобы запустить код, вам нужно только следующие базовые пакеты:

1. TensorFlow (версия> = 2.0)
2. Numpy
3. Matplotlib
4. Python (версия> = 3,5)

Обучение системы на банке Пенн (PTB)

Просто запустите Python contptncn/src/train_discrete_ptncn.py

Советы при использовании этого алгоритма/модели на собственных наборах данных:

1. Отслеживайте свои локальные потери и соответственно отрегулируйте гиперпараметры для модели.
2. Играйте с ненулевыми, небольшими значениями для коэффициентов распада веса.
3. Играть со значениями инициализации для синаптических весов обратной/ошибок (переменные, которые содержат капитал «E» в их имя)
4. Увеличение количества этапов вывода (k), которые влияют на оптимизацию основной функциональной свободной энергии модели.

Цитирование

Если вы используете или адаптируете (части) этого кода/алгоритма в любой форме в вашем проекте (ы) или найдите алгоритм PTNCN/Parallel Temporal Prodictive Coding, полезный в вашей собственной работе, укажите исходный документ этого кода:

 @article { ororbia2020continual ,
  title = { Continual learning of recurrent neural networks by locally aligning distributed representations } ,
  author = { Ororbia, Alexander and Mali, Ankur and Giles, C Lee and Kifer, Daniel } ,
  journal = { IEEE transactions on neural networks and learning systems } ,
  volume = { 31 } ,
  number = { 10 } ,
  pages = { 4267--4278 } ,
  year = { 2020 } ,
  publisher = { IEEE }
}