對於ARC獎,我切換到Pytorch。諾維格拉德是一次有趣的學習經歷。
動物每天都可以進行培訓和推斷,直到死亡的那一天。您需要的全部通行證。
通常,LLM等神經網絡在訓練過程中使用前後背部算法,並在推理過程中使用前向通行證。在AI中,LLM曾經通過大量數據進行培訓。 LLM記得他們在訓練中看到的東西。
完成此操作後,他們就被認為可以進行推斷。
在這一點上,當他們準備推斷生產時,他們不再學習。他們看起來像記得過去的回憶。但這僅僅是因為它們以自動回歸方式給予了過去的上下文。但是他們在推斷期間並沒有真正學習。
真正的神經機器應始終進行培訓並進行推理。這些活動之間沒有區別。培訓和推論都是關於模擬未來的。
2022年,杰弗裡·辛頓(Geoffrey Hinton)教授發明了前鋒算法。在前進算法中,沒有前向通行證。但這不是時間效率。
杰弗裡·欣頓教授的工作是諾維格拉德的起點。
諾維格拉德(Novigrad)是一個將神經網絡模型(用ONNX向前操作員描述)編譯為神經指示(用向前操作員描述)的系統。神經機器只是神經說明的流,例如AMD64程序是AMD64指令的流。
借助Novigrad(“ New Town”),您只需要進行訓練和推理。
沒有落後的通行證。您需要的全部通行證。為了實現目標,計算梯度所需的計算機簡單地在生成的神經機器中烘烤。結果是,由此產生的神經網絡具有用於培訓和推理的計算機。動物大腦可能就是這樣。
有許多浮游神經網絡框架。該列表包括Pytorch(Meta AI),Tensorflow(Google),TinyGrad(Tiny Corp),蠟燭(擁抱面),Burn(Tracel AI),DFDX(Corey Lowman)等。據我了解,我認為列表中的任何框架都不可以使用前向通行證學習。他們都使用前後算法進行反向傳播。
銹
Python
C ++
請參閱todo.md
cargo run --releasecargo test --releaseMega_man.txt來自Wikipedia。文本可在創意共享歸因屬於共享許可下可用4.0