ContinualPTNCN

Modelagem inspirada no cérebro com rede de codificação neural temporal paralela (P-TNCN): codificação preditiva recorrente e paralela local

Introduzimos um modelo de codificação preditiva localmente recorrente, um sistema neuro-imitético que foi especificamente chamado de rede de codificação neural temporal paralela (P-TNCN). Ao contrário das redes neurais recorrentes clássicas (RNNs), nosso modelo proposto conduz inferência sobre sua dinâmica neuronal e adapta suas forças de conexão sinpática da maneira local, ou seja, utiliza ajustes sinápticos do tipo Hebbian. Como resultado, o modelo temporal subjacente não requer gradientes de computação para trás no tempo (também conhecidos como "desdobramento" ou "desenrolar" no tempo); Assim, o modelo aprende de uma maneira mais computacionalmente mais eficiente do que os RNNs treinados com BPTT e podem ser usados ​​para aprendizado on -line.

Requisitos

Nossa implementação é fácil de seguir e, com o conhecimento da álgebra linear básica, pode -se decodificar o funcionamento interno do algoritmo PTNCN. Nesta estrutura, fornecemos módulos simples; Esperançosamente, espero que seja muito conveniente estender nossa estrutura a camadas> 3. Para executar o código, você deve precisar seguir os pacotes básicos:

1. Tensorflow (versão> = 2.0)
2. Numpy
3. Matplotlib
4. Python (versão> = 3.5)

Treinando o sistema no Penn Tree Bank (PTB)

Simplesmente execute Python contptncn/src/trens_discrete_ptncn.py

Dicas ao usar este algoritmo/modelo em seus próprios conjuntos de dados:

1. Acompanhe suas perdas locais e ajuste os hiper-parâmetros para o modelo.
2. Brinque com os valores pequenos e diferentes de zero para os coeficientes de decaimento do peso.
3. Jogue com os valores de inicialização para pesos sinápticos de atraso/erro (variáveis ​​que contêm capital "e" em seu nome)
4. Aumentando o número de etapas de inferência (K), que afetam a otimização da funcional de energia livre subjacente do modelo.

Citação

Se você usa ou adaptar (partes de) este código/algoritmo de qualquer forma em seu (s) projeto (s) ou encontrar o algoritmo de codificação preditiva PTNCN/paralelo, em seu próprio trabalho, cite o documento fonte deste código:

 @article { ororbia2020continual ,
  title = { Continual learning of recurrent neural networks by locally aligning distributed representations } ,
  author = { Ororbia, Alexander and Mali, Ankur and Giles, C Lee and Kifer, Daniel } ,
  journal = { IEEE transactions on neural networks and learning systems } ,
  volume = { 31 } ,
  number = { 10 } ,
  pages = { 4267--4278 } ,
  year = { 2020 } ,
  publisher = { IEEE }
}