《Factorio》作为一款以建造和资源管理为核心的复杂电脑游戏,近年来成为了研究人员评估人工智能能力的重要工具。这款游戏不仅要求玩家规划和构建复杂的系统,还需要同时管理多个资源和生产链,因此能够有效测试语言模型在复杂环境中的表现。通过模拟真实世界中的资源分配和生产流程,《Factorio》为人工智能研究提供了一个极具挑战性的平台。
为了更系统地评估人工智能的能力,研究团队开发了一个名为“Factorio 学习环境”(FLE)的系统。该系统提供了两种不同的测试模式:“实验模式”和“开放模式”。在实验模式中,AI代理需要完成24个结构化挑战,这些挑战从简单的两台机器建造到复杂的近百台机器工厂不等,设定了具体目标和有限资源。而在开放模式下,AI代理可以自由探索程序生成的地图,唯一目标是建造尽可能大的工厂。这两种模式分别测试了AI在受限环境和自由环境中的表现。

AI代理通过一个Python API与《Factorio》进行交互,能够生成代码以执行各种操作并检查游戏状态。这个API允许代理执行诸如放置和连接组件、管理资源和监控生产进度等功能。通过这种方式,研究团队能够测试语言模型在合成程序和处理复杂系统方面的能力。API的设计使得AI代理能够在游戏中模拟真实世界中的决策过程,从而为研究提供了丰富的数据。
为了评估AI代理的表现,研究者使用了两个关键指标:“生产评分”和“里程碑”。生产评分用于计算总产出价值,且随着生产链复杂性的增加而呈指数增长;里程碑则跟踪诸如创造新物品或研究技术等重要成就。游戏的经济模拟还考虑了资源稀缺性、市场价格和生产效率等因素,使得评估更加全面和真实。
研究团队,包括来自Anthropic的科学家,评估了六种领先的语言模型在FLE环境下的表现,包括Claude3.5Sonnet、GPT-4o及其迷你版、DeepSeek-V3、Gemini2.0Flash以及Llama-3.3-70B-Instruct。在这轮测试中,未包含大型推理模型(LRMs),但以往的基准测试表明,像o1这样的模型在规划能力上表现优异,尽管自身也存在局限性。
测试结果显示,参与评估的语言模型在空间推理、长期规划和错误纠正方面面临显著挑战。构建工厂时,AI代理在高效安排和连接机器方面出现困难,导致了次优布局和生产瓶颈。战略思维同样成为挑战,模型们普遍更倾向于优先考虑短期目标,而不是长期规划。此外,尽管它们能够处理基本的故障排查,但在面对更复杂问题时,往往陷入低效的调试循环。

在测试的模型中,Claude3.5Sonnet表现最为出色,但仍未能掌握所有挑战。在实验模式中,Claude成功完成了24个任务中的15个,而其他模型最多也只完成了10个。在开放测试中,Claude的生产评分达到2456分,GPT-4o以1789分紧随其后。Claude展现出复杂的《Factorio》游戏玩法,通过其战略性制造和研究方法,快速从基础产品转向复杂生产过程,尤其是电钻技术的提升,显著提高了铁板的生产速度。
研究者认为,FLE开放且可扩展的特性,使其在未来测试更强大的语言模型时具有重要价值。他们建议扩展该环境以包含多代理场景和人类表现基准,以便提供更好的评估背景。这项工作进一步丰富了基于游戏的AI基准测试的集合,其中还包括BALROG和即将推出的MCBench,这些都将利用《Minecraft》进行模型测试。
Factorio 学习环境:https://top.aibase.com/tool/factorio-learning-environment
划重点:
《Factorio》游戏成为评估AI能力的新工具,测试语言模型的复杂系统管理能力。
Factorio 学习环境(FLE)提供实验和开放模式,允许AI在不同条件下进行挑战。
测试显示Claude3.5Sonnet表现最佳,但仍存在长期规划和复杂问题处理的困难。