近日，来自图宾根埃利斯研究所、马里兰大学和劳伦斯利弗莫尔国家实验室的研究团队，成功开发出一款名为Huginn 的新型语言模型。这款模型采用了独特的递归架构，显着提升了其在复杂任务中的推理能力。与传统语言模型不同，Huginn 无需依赖专门的“推理链”训练，而是能够在神经网络的“潜在空间”内自主进行推理，并输出结果。这一创新设计为语言模型的发展开辟了新的方向。
Huginn 模型的训练过程在Frontier 超级计算机上进行，研究人员使用了4096 个AMD GPU 进行大规模训练。其训练方法独具特色，采用了可变计算迭代次数的策略，系统能够随机决定重复计算模块的次数，从而使模型能够更好地适应不同任务的复杂度。这种灵活的训练方式为Huginn 的高效推理能力奠定了基础。
在测试中，Huginn 在数学和编程任务中表现尤为突出。在GSM8k 和MATH 基准测试中，Huginn 的表现甚至超越了参数规模和训练数据量均高于自身数倍的开源模型。研究人员发现，Huginn 能够根据任务的复杂性动态调整计算深度，并在“潜在空间”内自主发展出推理链。进一步分析表明，模型在“潜在空间”中形成了复杂的计算模式，例如在解决数学问题时呈现出圆形轨迹。这一发现证明了Huginn 具备自主学习能力，并能够以新颖的方式进行推理。
尽管Huginn 的绝对性能仍有提升空间，但作为一款概念验证模型，它已经展现了惊人的潜力。研究人员认为，随着推理时间的延长和能力的进一步提升，采用Huginn 架构的大型模型有望成为传统推理模型的替代方案。团队还强调，Huginn 的方法可能捕捉到一些难以言表的推理类型，并计划在未来继续深入研究，探索强化学习等扩展方法，以进一步提升模型的性能。