GPT-4o数学能力跑分直掉50%，上海AI Lab开始给大模型重新出题了

从现在开始，努力学习吧！本文《GPT-4o数学能力跑分直掉50%，上海AI Lab开始给大模型重新出题了》主要讲解了等等相关知识点，我会在golang学习网中持续更新相关的系列文章，欢迎大家关注并积极留言建议。下面就先一起来看一下本篇正文内容吧，希望能帮到你！

大型语言模型（LLM）在数学竞赛基准测试中表现出色，得分动辄80%甚至90%以上，但在实际应用中却往往表现不佳。对此，上海人工智能实验室司南OpenCompass团队开发了新的复杂数学评测集LiveMathBench，并引入了新的性能指标G-Pass@16，以更全面地评估模型的性能潜力和稳定性。

该团队通过模拟真实用户使用场景，对多个LLM进行了多次测试，结果显示：大多数模型的性能平均下降超过50%，即使是最强的推理模型o1-mini也下降了36%。有些模型的性能下降甚至高达90%。

G-Pass@k：兼顾性能潜力与稳定性的新指标

研究团队对传统指标如Pass@k、Best-of-N和Majority Voting进行了改进，这些指标主要关注模型的潜在能力，而忽略了鲁棒性。在实际应用中，模型常采用采样解码，这会引入随机性，影响模型的性能。用户期望模型在真实场景中表现稳定可靠。

因此，团队提出了G-Pass@k指标，它通过引入阈值，评估模型在多次生成中至少给出一定数量正确答案的概率。 当阈值较低时，G-Pass@k反映模型的性能潜力；当阈值较高时，它反映模型的稳定性。 Pass@k实际上是G-Pass@k在阈值为1时的特例。

团队还定义了mG-Pass@k，它是G-Pass@k曲线的面积，用于整体评估模型性能，尤其关注0.5到1.0之间的阈值范围。

LiveMathBench：一个更真实的评测集

为了进行更客观的评估，团队构建了LiveMathBench，该数据集包含来自中国数学奥林匹克、中国高考模拟题、美国数学竞赛和普特南数学竞赛的题目，尽可能减少数据污染。 LiveMathBench (202412版本) 包含238道题目，提供中英文双版本。 团队计划持续更新该数据集。 实验还涵盖了MATH500-L5和AIME2024-45两个公开基准数据集。

实验结果与分析

实验中，每个题目进行了48次（16次采样*3次重复）生成，并报告G-Pass@16分数。结果显示：

主要观察结果：

1. 稳定性差： 闭源和开源模型在复杂推理任务中的稳定性都非常差，G-Pass@16(1.0) 的分数普遍很低，性能下降幅度巨大。

2. 规模并非万能： 增大模型规模对推理能力的提升有限，甚至可能导致性能下降。

3. 潜力与实际表现差距大： 模型的潜在能力（例如Greedy Accuracy）与实际稳定表现（G-Pass@16(1.0)）之间存在巨大差距。

结论

这项研究揭示了当前LLM在复杂数学推理方面的局限性，尤其是在稳定性和鲁棒性方面。 G-Pass@16指标和LiveMathBench数据集为更全面地评估LLM的数学推理能力提供了新的工具，也为未来的研究指明了方向。 研究人员呼吁学术界和工业界关注LLM推理能力的鲁棒性问题。

到这里，我们也就讲完了《GPT-4o数学能力跑分直掉50%，上海AI Lab开始给大模型重新出题了》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于​大模型,数学评测的知识点！