novigrad
1.0.0
Pour le prix ARC, je suis passé à Pytorch. Novigrad a été une expérience d'apprentissage intéressante.
Un animal peut faire une formation et une inférence chaque jour de son existence jusqu'au jour de sa mort. Une passe avant est tout ce dont vous avez besoin.
Habituellement, les réseaux de neurones comme les LLM utilisent l'algorithme avant-arrière pendant la formation et une passe avant pendant l'inférence. Dans l'IA, les LLM font leur formation une fois avec beaucoup de données. Les LLM se souviennent des choses qu'ils ont vues pendant la formation.
Une fois cela fait, ils sont jugés prêts à l'inférence.
À ce stade, lorsqu'ils sont prêts à inférer dans la production, ils n'apprennent plus. Ils ont l'air de se souvenir des souvenirs du passé. Mais c'est simplement parce qu'ils reçoivent un contexte du passé d'une manière auto-régressive. Mais ils n'apprennent pas vraiment pendant l'inférence.
Une véritable machine neurale devrait faire une formation et faire de l'inférence, toujours. Il n'y a pas de différence entre ces activités. La formation et l'inférence visent à simuler l'avenir.
En 2022, le professeur Geoffrey Hinton a inventé l'algorithme vers l'avant-avant. Dans l'algorithme vers l'avant-avant, il n'y a pas de passe avant. Mais ce n'est pas économe en temps.
Le travail du professeur Geoffrey Hinton est le point de départ de Novigrad.
Novigrad est un système qui compile un modèle de réseau neuronal (décrit en termes d'opérateurs à terme ONNX) à des instructions neuronales (décrites en termes d'opérateurs à terme). Une machine neurale est simplement un flux d'instructions neuronales, comme un programme AMD64 est un flux d'instructions AMD64.
Avec Novigrad ("New Town"), une passe avant est tout ce dont vous avez besoin, pour la formation et l'inférence.
Il n'y a pas de passe arrière. Une passe avant est tout ce dont vous avez besoin. Pour atteindre l'objectif, la machinerie informatique requise pour calculer le gradient est simplement cuite dans la machine neuronale générée. Une conséquence de cela est que les réseaux de neurones qui en résultent ont la machinerie informatique pour la formation et l'inférence. Les cerveaux d'animaux sont probablement comme ça.
Il existe de nombreux cadres de réseau neuronal hors thèse. La liste comprend Pytorch (Meta Ai), Tensorflow (Google), Tinygrad (Tiny Corp), Candle (Face Groughging), Burn (Tracel AI), DFDX (Corey Lowman), etc. En ce qui concerne la présence, je ne pense pas qu'un cadre de la liste puisse apprendre en utilisant uniquement une passe avant. Ils font tous une répartition en rétro-propagation à l'aide d'un algorithme avant-arrière.
Rouiller
Python
C ++
voir todo.md
cargo run --releasecargo test --releaseMega_man.txt vient de Wikipedia. Le texte est disponible sous la licence Creative Commons Attribution-Sharealike 4.0
