novigrad
1.0.0
Para el premio del arco, cambié a Pytorch. Novigrad fue una experiencia de aprendizaje interesante.
Un animal puede hacer entrenamiento e inferencia todos los días de su existencia hasta el día de su muerte. Un pase hacia adelante es todo lo que necesitas.
Por lo general, las redes neuronales como LLM usan el algoritmo de retrajo hacia adelante durante el entrenamiento y un pase hacia adelante durante la inferencia. En AI, LLMS realiza su entrenamiento una vez con muchos datos. Los LLM recuerdan las cosas que vieron durante el entrenamiento.
Una vez hecho esto, se consideran listos para la inferencia.
En este punto, cuando están listos para la inferencia en la producción, ya no aprenden. Parece que recuerdan recuerdos del pasado. Pero eso es simplemente porque se les da el contexto del pasado de una manera auto-regresiva. Pero realmente no aprenden durante la inferencia.
Una verdadera máquina neuronal debe hacer entrenamiento y hacer inferencia, siempre. No hay diferencia entre esas actividades. Tanto el entrenamiento como la inferencia se tratan de simular el futuro.
En 2022, el profesor Geoffrey Hinton inventó el algoritmo hacia adelante hacia adelante. En el algoritmo hacia adelante hacia adelante, no hay pase hacia adelante. Pero no es eficiente en el tiempo.
El trabajo del profesor Geoffrey Hinton es el punto de partida para Novigrad.
Novigrad es un sistema que compila un modelo de red neuronal (descrito en términos de operadores ONNX hacia adelante) a las instrucciones neuronales (descritas en términos de operadores de avance). Una máquina neural es simplemente un flujo de instrucciones neuronales, como un programa AMD64 es un flujo de instrucciones AMD64.
Con Novigrad ("New Town"), un pase hacia adelante es todo lo que necesita, tanto para capacitación como para inferencia.
No hay pases hacia atrás. Un pase hacia adelante es todo lo que necesitas. Para lograr el objetivo, la maquinaria informática requerida para calcular el gradiente simplemente se hornea en la máquina neural generada. Una consecuencia de esto es que las redes neuronales resultantes tienen la maquinaria informática para el entrenamiento e inferencia. Los cerebros de los animales son probablemente así.
Hay muchos marcos de redes neuronales fuera deline. La lista incluye Pytorch (Meta AI), TensorFlow (Google), Tinygrad (Tiny Corp), Velle (Facing Face), Burn (Tracel AI), DFDX (Corey Lowman), etc. En cuanto entiendo, no creo que ningún marco en la lista pueda aprender usando solo un pase hacia adelante. Todos hacen la propagación de retroceso utilizando un algoritmo hacia adelante hacia atrás.
Óxido
Pitón
C ++
ver TODO.MD
cargo run --releasecargo test --releaseMega_man.txt proviene de Wikipedia. El texto está disponible bajo la licencia Creative Commons Attribution-Sharealike 4.0
