北京大学和阿里巴巴的研究团队联合发布了全新的数学能力评测基准Omni-MATH，用于评估大型语言模型在奥林匹克数学竞赛级别的推理能力。该基准包含4428道涵盖33个以上数学子领域的竞赛级题目，难度等级从奥林匹克预备级别到顶级竞赛级别不等，并通过人工验证确保答案的高可靠性。Omni-MATH的推出，为AI在高级数学领域的潜力探索提供了新的标准和途径，也为评估大型语言模型的数学推理能力提供了更全面的工具。Downcodes小编将为您详细解读Omni-MATH的独特设计、评测体系以及创新的评测方法。
随着OpenAI的GPT-4在传统数学评测中屡创佳绩，北京大学和阿里巴巴的研究团队联手推出了一个全新的评测基准——Omni-MATH，旨在评估大型语言模型在奥林匹克数学竞赛级别的推理能力。这一举措不仅为AI数学能力的评估提供了新标准，也为探索AI在高级数学领域的潜力开辟了新途径。
Omni-MATH的独特设计
Omni-MATH评测库包含4428道竞赛级别的数学问题，涵盖33个以上的数学子领域，难度分为10个不同级别。其特点包括:
高可靠性:所有题目均来自各种数学竞赛和论坛，答案经过人工验证。
广泛覆盖:从奥林匹克预备级别（T4）到顶级奥林匹克数学竞赛(T0)，如IMO、IMC和普特南等。
多样性考虑:通过基于GPT-4和其他评测模型的评价方式，优化了答案多样性的问题。
在最新的排行榜上，除GPT-4满血版外，表现突出的包括:
GPT-4-mini:平均分比GPT-4-preview高出约8%
Qwen2-MATH-72b:超过了GPT-4-turbo的成绩
这些结果显示，即使是小型模型，在特定能力上也可能有出色表现。
评测体系的深度与广度
Omni-MATH的设计充分考虑了国际数学竞赛的选拔流程和难度层级:
参考英国和美国等国家的奥数选拔体系
涵盖从数论、代数到几何等多个数学领域
数据来源包括各类比赛题目、解析和著名数学网站的论坛内容
创新的评测方法
研究团队开发了Omni-Judge开源答案验证器，利用微调过的Llama3-Instruct模型，能快速判断模型输出与标准答案的一致性。这种方法在保证95%一致率的同时，也为复杂数学问题的评测提供了便捷解决方案。
Omni-MATH的推出不仅是对AI数学能力的全新挑战，也为未来AI在高级数学领域的应用和发展提供了重要的评估工具。随着AI技术的不断进步，我们或许能在不久的将来，见证AI在奥林匹克数学竞赛中的惊人表现。
项目地址：https://github.com/KbsdJames/Omni-MATH/
总而言之，Omni-MATH的出现标志着AI数学能力评估迈向新的高度，它为研究人员和开发者提供了宝贵的工具和数据，推动着AI在数学领域不断发展。未来，随着Omni-MATH的不断完善和更新，相信它将在AI数学领域发挥更大的作用。