对于ARC奖,我切换到Pytorch。诺维格拉德是一次有趣的学习经历。
动物每天都可以进行培训和推断,直到死亡的那一天。您需要的全部通行证。
通常,LLM等神经网络在训练过程中使用前后背部算法,并在推理过程中使用前向通行证。在AI中,LLM曾经通过大量数据进行培训。 LLM记得他们在训练中看到的东西。
完成此操作后,他们就被认为可以进行推断。
在这一点上,当他们准备推断生产时,他们不再学习。他们看起来像记得过去的回忆。但这仅仅是因为它们以自动回归方式给予了过去的上下文。但是他们在推断期间并没有真正学习。
真正的神经机器应始终进行培训并进行推理。这些活动之间没有区别。培训和推论都是关于模拟未来的。
2022年,杰弗里·辛顿(Geoffrey Hinton)教授发明了前锋算法。在前进算法中,没有前向通行证。但这不是时间效率。
杰弗里·欣顿教授的工作是诺维格拉德的起点。
诺维格拉德(Novigrad)是一个将神经网络模型(用ONNX向前操作员描述)编译为神经指示(用向前操作员描述)的系统。神经机器只是神经说明的流,例如AMD64程序是AMD64指令的流。
借助Novigrad(“ New Town”),您只需要进行训练和推理。
没有落后的通行证。您需要的全部通行证。为了实现目标,计算梯度所需的计算机简单地在生成的神经机器中烘烤。结果是,由此产生的神经网络具有用于培训和推理的计算机。动物大脑可能就是这样。
有许多浮游神经网络框架。该列表包括Pytorch(Meta AI),Tensorflow(Google),TinyGrad(Tiny Corp),蜡烛(拥抱面),Burn(Tracel AI),DFDX(Corey Lowman)等。据我了解,我认为列表中的任何框架都不可以使用前向通行证学习。他们都使用前后算法进行反向传播。
锈
Python
C ++
请参阅todo.md
cargo run --releasecargo test --releaseMega_man.txt来自Wikipedia。文本可在创意共享归因属于共享许可下可用4.0