近年来，大型语言模型（LLM）的性能提升主要依赖于规模扩张，即增加数据量和算力。然而，这种模式正逐渐触及瓶颈。业内专家指出，单纯依靠“更大更好”的策略已难以取得显着进展，新的技术突破迫在眉睫。本文将探讨当前AI领域面临的挑战以及新兴的“测试时计算”技术如何为AI发展带来新的方向。
随着生成式AI的迅猛发展，业界对"更大即更好"的传统认知正在发生转变。多位顶尖AI科学家近期表示，单纯通过增加数据量和算力来提升AI性能的方法已接近瓶颈，新的技术突破方向正在显现。
Safe Superintelligence和OpenAI的联合创始人Ilya Sutskever近日发表观点，认为传统预训练方法已进入性能平台期。这一论断格外引人注目，因为正是他早期倡导的大规模预训练方法催生了ChatGPT。如今，他表示AI领域已从"规模扩张时代"迈入"奇迹和发现时代"。
当前大模型训练面临多重挑战:动辄数千万美元的训练成本、系统复杂度带来的硬件故障风险、漫长的测试周期，以及数据资源和能源供应的限制。这些问题促使研究人员开始探索新的技术路径。
其中，"测试时计算"（test-time compute）技术受到广泛关注。这种方法允许AI模型在使用过程中实时生成和评估多个方案，而非直接给出单一答案。 OpenAI研究员Noam Brown打了个形象的比方:让AI在一盘扑克牌中思考20秒，效果堪比将模型规模和训练时间扩大10万倍。
目前，包括OpenAI、Anthropic、xAI和DeepMind在内的多家顶尖AI实验室都在积极开发各自的技术版本。 OpenAI已在其最新模型"o1"中应用了这一技术，首席产品官Kevin Weil表示，通过这些创新方法，他们看到了大量提升模型性能的机会。
业内专家认为，这种技术路线的转变可能重塑整个AI行业的竞争格局，并从根本上改变AI公司对各类资源的需求结构。这标志着AI发展正在进入一个更注重质量提升而非单纯规模扩张的新阶段。
总而言之，“测试时计算”等新技术的兴起，标志着AI发展进入了一个新的阶段，即更加注重模型性能的提升而非单纯的规模扩张。这将改变AI行业的竞争格局，并推动AI技术向更精细化、更智能化的方向发展。未来，AI技术的突破将更依赖于算法创新和对模型本质的理解，而非简单的算力堆砌。