novigrad
1.0.0
Para o prêmio ARC, mudei para Pytorch. Novigrad foi uma experiência interessante de aprendizado.
Um animal pode fazer treinamento e inferência todos os dias de sua existência até o dia de sua morte. Um passe para a frente é tudo o que você precisa.
Geralmente, redes neurais como o LLMS usam o algoritmo para a frente durante o treinamento e um passe para a frente durante a inferência. Na IA, os LLMs fazem seu treinamento uma vez com muitos dados. LLMs lembram as coisas que viram durante o treinamento.
Uma vez feito isso, eles são considerados prontos para a inferência.
Neste ponto, quando estão prontos para a inferência na produção, eles não aprendem mais. Eles parecem se lembrar de memórias do passado. Mas isso é simplesmente porque eles recebem o contexto do passado de uma maneira auto-regressiva. Mas eles realmente não aprendem durante a inferência.
Uma verdadeira máquina neural deve fazer treinamento e inferência, sempre. Não há diferença entre essas atividades. Tanto o treinamento quanto a inferência são sobre simular o futuro.
Em 2022, o Prof. Geoffrey Hinton inventou o algoritmo avançado. No algoritmo avançado, não há passe para a frente. Mas não é eficiente em termos de tempo.
O trabalho do Prof. Geoffrey Hinton é o ponto de partida para Novigrad.
A Novigrad é um sistema que compila um modelo de rede neural (descrito em termos de operadores de encaminhamento ONNX) a instruções neurais (descritas em termos de operadores avançados). Uma máquina neural é simplesmente um fluxo de instruções neurais, como um programa AMD64 é um fluxo de instruções AMD64.
Com o Novigrad ("New Town"), um passe para a frente é tudo o que você precisa, tanto para treinamento quanto para inferência.
Não há passe para trás. Um passe para a frente é tudo o que você precisa. Para atingir a meta, a maquinaria de computação necessária para calcular o gradiente é simplesmente assada na máquina neural gerada. Uma conseqüência disso é que as redes neurais resultantes têm a maquinaria de computação para treinamento e inferência. Os cérebros de animais são provavelmente assim.
Existem muitas estruturas de rede neurais prontas para uso. A lista inclui pytorch (meta ai), tensorflow (google), tinygrad (tiny corp), vela (rosto abraçando), queima (tracel ai), dfdx (corey lowman) e assim por diante. Para entender, não acho que nenhuma estrutura da lista possa aprender usando apenas um passe para a frente. Todos eles fazem propagação de volta usando um algoritmo para frente.
Ferrugem
Python
C ++
Veja TODO.MD
cargo run --releasecargo test --releaseMega_man.txt vem da Wikipedia. O texto está disponível sob a licença Creative Commons Attribution-Sharealike 4.0
