novigrad
1.0.0
Для приза Arc я перешел на Pytorch. Novigrad был интересным опытом обучения.
Животное может проводить тренировку и выводы каждый день своего существования до дня его смерти. Правный проход - это все, что вам нужно.
Обычно нейронные сети, такие как LLMS, используют алгоритм прямого отсчета во время обучения, а также передний проход во время вывода. В ИИ LLM проводят свое обучение один раз с большим количеством данных. LLM запоминают то, что они видели во время тренировки.
Как только это будет сделано, они считаются готовыми к выводу.
На данный момент, когда они готовы к выводу в производстве, они больше не учатся. Они выглядят так, будто помнят воспоминания из прошлого. Но это просто потому, что им дается контекст прошлого автоматически регрессивным образом. Но они действительно не учатся во время вывода.
Настоящая нейронная машина должна выполнять обучение и делать вывод, всегда. Нет разницы между этими видами деятельности. Как обучение, так и вывод посвящены моделированию будущего.
В 2022 году профессор Джеффри Хинтон изобрел алгоритм форварда. В алгоритме прямого перехода нет прямого прохода. Но это не эффективно.
Работа профессора Джеффри Хинтона является отправной точкой для Novigrad.
Novigrad - это система, которая компилирует модель нейронной сети (описанную с точки зрения операторов Onnx) для нейронных инструкций (описанных с точки зрения прямого оператора). Нейронная машина - это просто поток нейронных инструкций, например, программа AMD64 - это поток инструкций AMD64.
С Nevigrad («Новый город») передний пропуск - это все, что вам нужно, как для обучения, так и для вывода.
Там нет обратного прохода. Правный проход - это все, что вам нужно. Чтобы достичь цели, вычислительный механизм, необходимый для вычисления градиента, просто выпекается в созданной нейронной машине. Следствием этого является то, что в результате нейронные сети есть вычислительная техника для обучения и вывода. Животные мозги, вероятно, такие.
Есть много необоснованных фреймворков нейронной сети. Список включают Pytorch (Meta AI), Tensorflow (Google), Tinygrad (Tiny Corp), свеча (обнимающееся лицо), Burn (Tracel AI), DFDX (Кори Лоуман) и так далее. Насколько я понимаю, я не думаю, что любая структура в списке может учиться, используя только прямой проход. Все они делают обратное распространение, используя алгоритм вперед.
Ржавчина
Питон
C ++
См. todo.md
cargo run --releasecargo test --releaseMega_man.txt происходит из Википедии. Текст доступен по лицензии Creative Commons Attribution-Sharealike 4.0
