当前位置:首页 > 文章列表 > 科技周边 > 业界新闻 > Copilot 基准站加入 harness 对照后,模型成绩应该怎样阅读

Copilot 基准站加入 harness 对照后,模型成绩应该怎样阅读

来源:17golang原创 2026-11-18 18:34:48 0浏览 收藏

如果你在 Copilot 基准站看到某个 harness 的点位更高,先不要把它读成“这个模型绝对更强”。GitHub 这次新增的 Harnesses 视图,比较的是代理执行层:只有在模型相同、推理 effort 相同、基准任务可比时,才能把差异主要归因到 harness。正确的阅读顺序是先确认配对条件,再同时看完成率、单任务成本和运行波动。

这篇文章对应 GitHub 2026 年 11 月 17 日的官方公告,公告地址:https://github.blog/changelog/2026-11-17-github-copilot-benchmarks-site-adds-harness-comparisons/。文中只解释公告公开的图表和字段,不把预览数据外推成所有项目、账号或模型的普遍结论。

一句话判断:先问“是不是同一个模型、同一个 medium reasoning effort、同一个 benchmark”,再问“哪个 harness 的 resolution rate 更高、mean cost per task 是否更低,以及差异是否落在运行波动之外”。

先确认公告到底新增了什么

这次公告包含两个容易混在一起的变化:

  • Terminal-Bench-Science 0.1:把评测范围从软件工程任务扩展到科学研究工作流,任务覆盖生命科学、物理、地球、数学和工程科学等领域,并由领域专家编写和复核。
  • Harnesses 视图:在相同模型和相同推理 effort 的条件下,比较 GitHub Copilot agent harness,或使用同一模型的不同 harness。

两项能力都处于 public preview。因此读者应把它们当作新的观察入口,而不是稳定的排行榜或团队生产环境的保证。前者改变了可选 benchmark,后者改变了比较维度。

把模型与 harness 分成两层

“模型成绩”这个说法很容易省略执行环境。模型负责生成推理和动作建议,harness 则负责把任务上下文、工具调用、文件操作和结果回收组织起来。同一模型换一个 harness,最终完成率和成本可能不同;但这不等于模型本身变了。

基准测试中 benchmark、model、medium reasoning effort、harness 与 task result 的分层关系说明图
图1:模型、推理 effort 与 harness 的静态关系示意图;它帮助区分比较对象,不是运行截图。

看到一个比较结果时,可以按下面的层级逐项记录:

层级要问的问题为什么重要
Benchmark是不是同一组任务和同一评测规则?任务难度、输入和评分口径不同,数字不能直接横比。
Exact model两条结果使用的是不是同一个模型?不同模型的能力差异不能归到 harness。
Reasoning effort是不是同一个 effort,公告指定的配对是否为 medium?推理预算变化会改变完成率与成本。
Harness变化的是哪个代理执行层?工具编排、上下文处理和工作流策略可能在这里产生差异。

按坐标轴读取散点图

Harnesses 视图用散点图把两个结果放在一起:纵向看 resolution rate,横向看 mean cost per task。前者回答“任务完成得怎么样”,后者回答“平均完成一项任务花费多少”。一个点在左上区域,通常意味着同时具备较高完成率和较低平均成本;但这只是同一配对条件下的相对位置。

不要只盯着最高的纵坐标。若两个 harness 的完成率接近,成本差异可能更适合实际选型;若完成率差异明显,也要回头查看它是否伴随更高成本,以及任务类型是否与团队工作相似。

resolution rate 与 mean cost per task 散点图及配对差异区间的静态阅读示意图
图2:散点、连线、波动椭圆与配对区间的静态阅读示意图;示意点位不代表真实成绩。

图中的连线用于连接匹配结果,帮助读者观察同一模型在不同 harness 下的移动方向。若点向上且向左移动,代表在该配对中完成率提高、平均成本下降;若只向上移动,则要接受更高成本可能换来更高完成率的取舍。

检查精确配对与统计波动

公告明确限制了 Harnesses 视图的比较范围:只展示精确的模型配对,并固定在 medium reasoning effort。Copilot-only 配置,例如 GitHub Copilot Fusion,以及无法匹配的结果会被排除,而不是拿另一个模型凑成比较。

这条规则是阅读结果的第一道防线。遇到没有显示某个配置时,不要直接推断它表现差,也不要用不同模型的最高分替换缺失的配对;更稳妥的解释是它不满足当前视图的可比条件。

图上还会用阴影椭圆表现已发布运行中观察到的 run-to-run variation。它提醒你:同一配置重复运行也可能有波动。配对差异区域则并列给出 Copilot CLI 的 resolution advantage(百分点)和 cost savings(百分比),并附上约 95% 的 bootstrap interval。区间较宽时,应该降低对小差异的确定性表述。

从一个“高点”开始排查

  1. 先锁定 benchmark。确认你看的到底是软件工程基准还是新加入的 Terminal-Bench-Science 0.1,不要把科学研究工作流的结果当成代码修复能力的直接替代。
  2. 再抄下完整配对。记录模型名称、medium reasoning effort 和两个 harness;缺一项就暂时不下结论。
  3. 同时记录两个坐标。把 resolution rate 与 mean cost per task 放在同一行,避免只保存成功率而丢失成本条件。
  4. 最后看波动和区间。若差异落在明显的运行波动内,团队复盘时应写成“当前公开运行中观察到差异”,而不是“某 harness 必然更强”。

把公开结果转成团队决策记录

如果团队准备把这类数据用于工具评估,可以建立一张很小的记录表。表头至少包含:benchmark、任务版本或入口、exact model、reasoning effort、harness、resolution rate、mean cost per task、运行波动、观察日期和限制说明。

然后把决策拆成三个问题:第一,团队的真实任务更接近哪一个 benchmark;第二,预算更在意成功率、成本,还是二者的平衡;第三,是否愿意为同一模型在不同 harness 中的工具编排差异做一次小规模内部试用。这样做的好处是把公开评测当作筛选线索,而不是把它当作脱离任务场景的最终答案。

常见误读

  • 把 harness 分数当模型排行榜:不同模型或不同 effort 的结果不能用于解释 harness 差异。
  • 把 public preview 当成最终承诺:公告说明的是当前公开视图和评测范围,不代表所有账号、计划或入口都拥有同样能力。
  • 忽略成本:完成率更高不自动意味着团队总成本更低,必须一起看 mean cost per task。
  • 把一次运行当定论:运行波动和 bootstrap interval 都是提醒,应避免用很小的差异做绝对判断。

总结

Copilot 基准站加入 harness 对照后,最有价值的变化不是多了一个“谁第一”的数字,而是把模型能力与代理执行层拆开了。阅读时先确认 benchmark、exact model 和 medium reasoning effort,再用 resolution rate 与 mean cost per task 看取舍,最后结合运行波动和约 95% bootstrap interval 判断差异是否值得行动。对团队来说,保留配对条件和限制说明,比摘走一个孤立百分比更可靠。

相关问题

为什么同一个模型换 harness 后成绩会变?

模型之外还有工具编排、上下文管理和任务执行策略。Harnesses 视图正是为了观察这一执行层差异,但必须保持模型和 effort 可比。

为什么有些 Copilot 配置没有出现在 Harnesses 视图?

公告说明 Copilot-only 配置和无法形成精确配对的结果会被排除。缺席本身不能证明配置性能更差。

Terminal-Bench-Science 0.1 能不能直接代表日常写代码表现?

不能直接代表。它关注科学研究工作流,适合补充观察代理在另一类任务上的表现,不能替代与团队代码任务更接近的基准。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go go/ast.CommClause 怎样区分 select 通信分支与 defaultGo go/ast.CommClause 怎样区分 select 通信分支与 default
上一篇
Go go/ast.CommClause 怎样区分 select 通信分支与 default
Go image.Alpha.SubImage 怎样理解裁剪视图与原缓冲区的共享
下一篇
Go image.Alpha.SubImage 怎样理解裁剪视图与原缓冲区的共享
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1095次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1092次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1259次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1200次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1049次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码