AI三巨头编程测试失败，正确率不足25%

最新AI编程能力遭遇滑铁卢！Scale AI发布的SWE-BENCH PRO测试显示，即便强如GPT-5、Claude Opus4.1和Gemini2.5等AI三巨头，在解决真实商业环境中的编程问题时，正确率也集体跌破25%。其中，GPT-5以23.3%的解决率领先，但Google的Gemini2.5仅为13.5%。与以往测试不同，SWE-BENCH PRO排除了所有训练数据，考验模型真正的理解与推理能力。前OpenAI研究员指出，GPT-5在选择尝试解决的问题中，成功率高达63%，展现出潜在的技术优势。这一结果揭示了当前AI代码生成模型在应对复杂工程问题时的局限性，尤其是在JavaScript和TypeScript等常用语言上表现不稳定，反映出各模型技术路线的差异。

Scale AI最新发布的SWE-BENCH PRO编程能力评估结果显示，即便是当前最前沿的模型如GPT-5、Claude Opus4.1和Gemini2.5，也未能突破25%的解决率门槛。

其中，GPT-5仅取得23.3%的解决率，Claude Opus4.1以22.7%紧随其后，而Google的Gemini2.5则表现更弱，仅有13.5%的任务被成功解决。

前OpenAI研究员Neil Chowdhury指出，当GPT-5决定尝试解决问题时，其实际成功率高达63%，远超Claude Opus4.1的31%。这表明尽管GPT-5在整体得分上并不突出，但在它认为可以处理的任务中，依然具备显著的技术领先优势。

与以往常出现70%以上高分的SWE-Bench-Verified测试不同，SWE-BENCH PRO特别排除了所有可能已用于训练的数据，从根本上杜绝了数据泄露或记忆式答题的可能性。这一改进使得模型必须依赖真实的理解与推理能力来应对挑战，而非依赖训练过程中的“死记硬背”。

该评测覆盖了来自真实商业应用与开发工具的1865个实际问题，题目被划分为公共集、商业集和保留集三个层级，确保测试内容对所有模型而言都是全新的。同时，研究团队还引入人工增强机制，进一步提升了任务的真实性和复杂度。

测评结果也揭示了当前AI代码生成模型的核心短板——面对真实世界中的工程问题，其能力仍十分有限。尤其是在JavaScript和TypeScript等广泛使用的语言上，各模型的表现波动剧烈且难以预测。深入分析显示，不同模型在处理相似任务时展现出截然不同的行为模式，反映出背后技术路线与训练策略的根本差异。

终于介绍完啦！小伙伴们，这篇关于《AI三巨头编程测试失败，正确率不足25%》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！