في الآونة الأخيرة ، قام فريق أبحاث من معهد Tubingen Ellis ، وجامعة ماريلاند ومختبر لورانس ليفرمور الوطني بتطوير نموذج لغة جديد يسمى Huginn. يتبنى هذا النموذج بنية متكررة فريدة من نوعها تعمل بشكل كبير على تحسين قدرته على الاستدلال في المهام المعقدة. على عكس النماذج اللغوية التقليدية ، لا يحتاج Huginn إلى الاعتماد على تدريب "سلسلة الاستدلال" الخاصة "، ولكن يمكن أن يؤدي بشكل مستقل إلى سبب" المساحة الكامنة "للشبكة العصبية وإخراج النتائج. يفتح هذا التصميم المبتكر اتجاهات جديدة لتطوير نماذج اللغة.
تم تنفيذ عملية تدريب نموذج Huginn على الحاسوب الخارق للحدود ، واستخدم الباحثون 4096 AMD GPU للتدريب على نطاق واسع. طريقة التدريب الخاصة بها فريدة من نوعها وتعتمد استراتيجية لعدد حساب متغير من التكرارات. يمكن للنظام تحديد عدد وحدات الحساب المتكررة بشكل عشوائي ، بحيث يمكن للنموذج أن يتكيف بشكل أفضل مع تعقيد المهام المختلفة. تضع طريقة التدريب المرنة هذه الأساس لقدرة التفكير الفعالة لهوجن.
كان أداء Huginn جيدًا بشكل جيد في مهام الرياضيات والبرمجة أثناء الاختبار. في GSM8K ومعايير الرياضيات ، يتجاوز أداء Huginn النماذج المفتوحة المصدر مع كل من حجم المعلمة وحجم بيانات التدريب أعلى عدة مرات من تلقاء نفسه. وجد الباحثون أن Huginn كان قادرًا على ضبط عمق الحساب بناءً على تعقيد المهمة وتطوير سلاسل الاستدلال بشكل مستقل داخل "المساحة المحتملة". يوضح التحليل الإضافي أن النموذج يشكل أنماطًا حسابيًا معقدة في "الفضاء الكامن" ، مثل تقديم مسار دائري عند حل المشكلات الرياضية. يثبت هذا الاكتشاف أن Huginn لديه القدرة على التعلم بشكل مستقل وأنه قادر على التفكير بطرق جديدة.
في حين أن أداء Huginn المطلق لا يزال لديه مجال للتحسين ، فقد أظهر بالفعل إمكانات مذهلة كنموذج إثبات المفهوم. يعتقد الباحثون أنه مع تمديد وقت التفكير ويتم تحسين القدرة ، من المتوقع أن تصبح النماذج الكبيرة التي تستخدم هندسة Huginn بديلاً لنماذج الاستدلال التقليدية. أكد الفريق أيضًا على أن نهج Huginn قد يلتقط بعض أنواع التفكير التي لا توصف وخطط لمواصلة الدراسة بعمق في المستقبل لاستكشاف أساليب التحجيم مثل التعلم التعزيز لزيادة تحسين أداء النموذج.