เมื่อเร็ว ๆ นี้ทีมวิจัยจาก Tubingen Ellis Institute, University of Maryland และ Lawrence Livermore National Laboratory ประสบความสำเร็จในการพัฒนารูปแบบภาษาใหม่ที่เรียกว่า Huginn โมเดลนี้ใช้สถาปัตยกรรมแบบเรียกซ้ำที่ไม่ซ้ำกันซึ่งปรับปรุงความสามารถในการอนุมานอย่างมีนัยสำคัญในงานที่ซับซ้อน Huginn ไม่จำเป็นต้องพึ่งพาการฝึกอบรม "ห่วงโซ่การอนุมาน" พิเศษ แต่สามารถให้เหตุผลได้อย่างอิสระภายใน "พื้นที่แฝง" ของเครือข่ายประสาทและส่งออกผลลัพธ์ การออกแบบที่เป็นนวัตกรรมนี้เปิดทิศทางใหม่สำหรับการพัฒนาแบบจำลองภาษา
กระบวนการฝึกอบรมของโมเดล Huginn ได้ดำเนินการในซุปเปอร์คอมพิวเตอร์ชายแดนและนักวิจัยใช้ GPU 4096 AMD สำหรับการฝึกอบรมขนาดใหญ่ วิธีการฝึกอบรมนั้นไม่ซ้ำกันและใช้กลยุทธ์ของการคำนวณตัวแปรจำนวนการวนซ้ำ ระบบสามารถสุ่มกำหนดจำนวนโมดูลการคำนวณซ้ำเพื่อให้แบบจำลองสามารถปรับให้เข้ากับความซับซ้อนของงานที่แตกต่างกันได้ดีขึ้น วิธีการฝึกอบรมที่ยืดหยุ่นนี้วางรากฐานสำหรับความสามารถในการใช้เหตุผลที่มีประสิทธิภาพของ Huginn
Huginn ทำงานได้ดีโดยเฉพาะอย่างยิ่งในงานคณิตศาสตร์และการเขียนโปรแกรมในระหว่างการทดสอบ ในเกณฑ์มาตรฐาน GSM8K และคณิตศาสตร์ประสิทธิภาพของ Huginn นั้นเหนือกว่ารุ่นโอเพนซอร์สที่มีทั้งขนาดพารามิเตอร์และปริมาณข้อมูลการฝึกอบรมที่สูงกว่าของตัวเองหลายเท่า นักวิจัยพบว่า Huginn สามารถปรับความลึกของการคำนวณแบบไดนามิกตามความซับซ้อนของงานและพัฒนาโซ่การอนุมานอย่างอิสระภายใน "พื้นที่ที่มีศักยภาพ" การวิเคราะห์เพิ่มเติมแสดงให้เห็นว่าแบบจำลองเป็นรูปแบบการคำนวณที่ซับซ้อนใน "พื้นที่แฝง" เช่นการนำเสนอวิถีการเคลื่อนที่แบบวงกลมเมื่อแก้ปัญหาทางคณิตศาสตร์ การค้นพบนี้พิสูจน์ให้เห็นว่า Huginn มีความสามารถในการเรียนรู้อย่างอิสระและสามารถให้เหตุผลในรูปแบบใหม่
ในขณะที่การแสดงที่สมบูรณ์ของ Huginn ยังคงมีที่ว่างสำหรับการปรับปรุง แต่ก็แสดงให้เห็นถึงศักยภาพที่น่าทึ่งในฐานะรูปแบบการพิสูจน์แนวคิด นักวิจัยเชื่อว่าเมื่อเวลาที่มีเหตุผลขยายออกไปและความสามารถได้รับการปรับปรุงให้ดีขึ้นโมเดลขนาดใหญ่ที่ใช้สถาปัตยกรรม Huginn คาดว่าจะกลายเป็นทางเลือกแทนแบบจำลองการอนุมานแบบดั้งเดิม ทีมยังเน้นว่าวิธีการของ Huginn อาจจับเหตุผลบางอย่างที่อธิบายไม่ได้และวางแผนที่จะศึกษาต่อในเชิงลึกในอนาคตเพื่อสำรวจวิธีการปรับขนาดเช่นการเรียนรู้การเสริมแรงเพื่อปรับปรุงประสิทธิภาพของแบบจำลองต่อไป