ContinualPTNCN

병렬 시간적 신경 코딩 네트워크 (P-TNCN)를 사용한 뇌에서 영감을 얻은 모델링 : 로컬 재발 및 병렬 예측 코딩

우리는 특히 병렬 시간 신경 코딩 네트워크 (P-TNCN)로 명명 된 신경 모방 시스템 인 국부적으로 재발 성 예측 코딩 모델을 소개합니다. 고전적인 반복 신경 네트워크 (RNN)와 달리, 제안 된 모델은 신경 역학에 대한 추론을 수행하고 동시 연결 강도를 국소적인 방식으로 적응시켜 Hebbian과 같은 시냅스 조정을 활용합니다. 결과적으로, 기본 시간적 모델은 컴퓨팅 그라디언트가 시간을 거꾸로 필요하지 않습니다 ( "펼치기"또는 "시간이 지남에 따라"롤링되지 않은 "이라고도 함). 따라서이 모델은 BPTT로 교육을받은 RNN보다 계산적으로보다 효율적인 방식으로 학습하며 온라인 학습에 사용될 수 있습니다.

요구 사항

우리의 구현은 따라 가기 쉽고 기본 선형 대수에 대한 지식으로 PTNCN 알고리즘의 내부 작업을 해독 할 수 있습니다. 이 프레임 워크에서는 간단한 모듈을 제공했습니다. 따라서 프레임 워크를 레이어> 3으로 확장하는 것이 매우 편리하게 만들기를 바랍니다. 코드를 실행하려면 기본 패키지에 대해서만 필요합니다.

1. 텐서 플로우 (버전> = 2.0)
2. Numpy
3. matplotlib
4. 파이썬 (버전> = 3.5)

Penn Tree Bank (PTB)에서 시스템 교육

Python contptncn/src/train_discrete_ptncn.py를 실행합니다

자체 데이터 세트 에서이 알고리즘/모델을 사용하는 동안 팁 :

1. 로컬 손실을 추적하고 따라서 모델의 하이퍼 파라미터를 조정하십시오.
2. 중량 붕괴 계수에 대해 0이 아닌 작은 값을 사용하십시오.
3. 후진/오류 시냅스 가중치에 대한 초기화 값을 사용하여 (이름에 자본 "e"를 포함하는 변수)
4. 모델의 기본 자유 에너지 기능의 최적화에 영향을 미치는 추론 단계 (k)의 수를 증가시킵니다.

소환

이 코드/알고리즘을 프로젝트의 모든 형태로 사용하거나 조정 (일부)하거나 자신의 작업에 도움이되는 PTNCN/병렬 예측 코딩 알고리즘을 찾으십시오.이 코드의 소스 용지를 인용하십시오.

 @article { ororbia2020continual ,
  title = { Continual learning of recurrent neural networks by locally aligning distributed representations } ,
  author = { Ororbia, Alexander and Mali, Ankur and Giles, C Lee and Kifer, Daniel } ,
  journal = { IEEE transactions on neural networks and learning systems } ,
  volume = { 31 } ,
  number = { 10 } ,
  pages = { 4267--4278 } ,
  year = { 2020 } ,
  publisher = { IEEE }
}