novigrad
1.0.0
لجائزة ARC ، تحولت إلى Pytorch. كانت Novigrad تجربة تعليمية مثيرة للاهتمام.
يمكن للحيوان القيام بالتدريب والاستدلال كل يوم من وجوده حتى يوم وفاته. تمريرة إلى الأمام هو كل ما تحتاجه.
عادةً ما تستخدم الشبكات العصبية مثل LLMs الخوارزمية المستقبلية أثناء التدريب ، وتمريرة إلى الأمام أثناء الاستدلال. في الذكاء الاصطناعي ، تقوم LLMs بتدريبها مرة واحدة مع الكثير من البيانات. تتذكر LLMs الأشياء التي رأوها أثناء التدريب.
بمجرد الانتهاء من ذلك ، يُعتبر جاهزًا للاستدلال.
في هذه المرحلة عندما يكونون مستعدين للاستدلال في الإنتاج ، لم يعد يتعلمون. يبدو أنهم يتذكرون الذكريات من الماضي. ولكن هذا ببساطة لأنهم يعطون سياق الماضي بطريقة مستعملة تلقائية. لكنهم لا يتعلمون حقًا أثناء الاستدلال.
يجب أن تقوم الآلة العصبية الحقيقية بالتدريب والقيام بالاستدلال دائمًا. لا يوجد فرق بين تلك الأنشطة. كل من التدريب والاستدلال حول محاكاة المستقبل.
في عام 2022 ، اخترع البروفيسور جيفري هينتون خوارزمية الأمامية. في الخوارزمية الأمامية إلى الأمام ، لا يوجد تمريرة إلى الأمام. لكنها ليست فعالة للوقت.
عمل البروفيسور جيفري هينتون هو نقطة الانطلاق لـ Novigrad.
Novigrad هو نظام يجمع نموذج الشبكة العصبية (الموصوفة من حيث مشغلي ONNX للأمام) إلى التعليمات العصبية (الموصوفة من حيث المشغلين الأماميين). الجهاز العصبي هو ببساطة دفق من التعليمات العصبية ، مثل برنامج AMD64 هو دفق من تعليمات AMD64.
مع Novigrad ("New Town") ، تمريرة إلى الأمام هو كل ما تحتاجه ، لكل من التدريب والاستدلال.
لا يوجد تمريرة متخلفة. تمريرة إلى الأمام هو كل ما تحتاجه. لتحقيق الهدف ، يتم ببساطة خبز آلية الحوسبة المطلوبة لحساب التدرج في الجهاز العصبي الذي تم إنشاؤه. نتيجة لذلك هي أن الشبكات العصبية الناتجة لديها آلية الحوسبة للتدريب والاستدلال. أدمغة الحيوانات ربما هكذا.
هناك العديد من أطر الشبكة العصبية خارج القطع. تتضمن القائمة Pytorch (Meta AI) و TensorFlow (Google) و Tinygrad (Tiny Corp) و Candle (Hugging Face) و Burn (Tracel AI) و DFDX (Corey Lowman) وما إلى ذلك. بقدر ما أفهم ، لا أعتقد أن أي إطار في القائمة يمكن أن يتعلم باستخدام تمريرة للأمام فقط. كلهم يفعلون الانتشار الخلفي باستخدام خوارزمية متخفية.
الصدأ
بيثون
C ++
انظر TODO.MD
cargo run --releasecargo test --releasemega_man.txt يأتي من ويكيبيديا. النص متاح بموجب ترخيص Creative Commons Attribution-ShareAlike 4.0
