novigrad
1.0.0
Für den ARC -Preis wechselte ich zu Pytorch. Novigrad war eine interessante Lernerfahrung.
Ein Tier kann jeden Tag seiner Existenz bis zum Tag seines Todes trainieren und inferenzieren. Ein Vorwärtspass ist alles, was Sie brauchen.
Normalerweise verwenden neuronale Netze wie LLMs während des Trainings den Vorwärts-Rückwärtsalgorithmus und einen Vorwärtspass während der Inferenz. In AI machen LLMs ihre Schulung einmal mit vielen Daten. LLMs erinnern sich an die Dinge, die sie während des Trainings gesehen haben.
Sobald dies erledigt ist, gelten sie als Rückschlüsse.
An diesem Punkt lernen sie nicht mehr. Sie sehen aus, als würden sie sich an Erinnerungen aus der Vergangenheit erinnern. Aber das liegt einfach daran, dass ihnen der Kontext der Vergangenheit auf automatische Weise eingeräumt wird. Aber sie lernen während der Inferenz nicht wirklich.
Eine echte neuronale Maschine sollte immer Training durchführen und inferenzieren. Es gibt keinen Unterschied zwischen diesen Aktivitäten. Sowohl Training als auch Inferenz geht es darum, die Zukunft zu simulieren.
Im Jahr 2022 erfand Prof. Geoffrey Hinton den Vorwärts-Algorithmus. Im Vorwärts-Algorithmus gibt es keinen Vorwärtspass. Aber es ist nicht zeitlich.
Die Arbeit von Prof. Geoffrey Hinton ist der Ausgangspunkt für Novigrad.
Novigrad ist ein System, das ein neuronales Netzwerkmodell (beschrieben in Bezug auf ONNX -Vorwärtsbetreiber) für neuronale Anweisungen (beschrieben in Bezug auf Forward -Operatoren) zusammenstellt. Eine neuronale Maschine ist einfach ein Strom von neuronalen Anweisungen, wie ein AMD64 -Programm ist ein Strom von AMD64 -Anweisungen.
Mit Novigrad ("New Town") ist ein Vorwärtspass alles, was Sie brauchen, sowohl für Training als auch für die Schlussfolgerung.
Es gibt keinen Rückwärtspass. Ein Vorwärtspass ist alles, was Sie brauchen. Um das Ziel zu erreichen, wird die zur Berechnung des Gradienten erforderliche Computermaschinerie einfach in der erzeugten Neuralmaschine gebacken. Eine Folge davon ist, dass sich daraus resultierende neuronale Netzwerke über die Computermaschinerie für Schulungen und Inferenz verfügen. Tierhirn sind wahrscheinlich so.
Es gibt viele neurale Netzwerke von Nerven. Die Liste enthält Pytorch (Meta AI), TensorFlow (Google), Tinygrad (Tiny Corp), Kerze (umarmendes Gesicht), Burn (Tracel AI), DFDX (Corey Lowman) usw. Soweit ich verstehe, glaube ich nicht, dass ein Framework in der Liste nur mit einem Vorwärtspass lernen kann. Sie alle machen eine Rückenbekämpfung mit einem Vorwärts-Algorithmus.
Rost
Python
C ++
siehe todo.md
cargo run --releasecargo test --releaseMega_man.txt stammt aus Wikipedia. Der Text ist unter der Creative Commons Attribution-Sharealike-Lizenz 4.0 erhältlich
