Copilot 基准站加入 harness 对照后,模型成绩应该怎样阅读
如果你在 Copilot 基准站看到某个 harness 的点位更高,先不要把它读成“这个模型绝对更强”。GitHub 这次新增的 Harnesses 视图,比较的是代理执行层:只有在模型相同、推理 effort 相同、基准任务可比时,才能把差异主要归因到 harness。正确的阅读顺序是先确认配对条件,再同时看完成率、单任务成本和运行波动。
这篇文章对应 GitHub 2026 年 11 月 17 日的官方公告,公告地址:https://github.blog/changelog/2026-11-17-github-copilot-benchmarks-site-adds-harness-comparisons/。文中只解释公告公开的图表和字段,不把预览数据外推成所有项目、账号或模型的普遍结论。
一句话判断:先问“是不是同一个模型、同一个 medium reasoning effort、同一个 benchmark”,再问“哪个 harness 的 resolution rate 更高、mean cost per task 是否更低,以及差异是否落在运行波动之外”。
先确认公告到底新增了什么
这次公告包含两个容易混在一起的变化:
- Terminal-Bench-Science 0.1:把评测范围从软件工程任务扩展到科学研究工作流,任务覆盖生命科学、物理、地球、数学和工程科学等领域,并由领域专家编写和复核。
- Harnesses 视图:在相同模型和相同推理 effort 的条件下,比较 GitHub Copilot agent harness,或使用同一模型的不同 harness。
两项能力都处于 public preview。因此读者应把它们当作新的观察入口,而不是稳定的排行榜或团队生产环境的保证。前者改变了可选 benchmark,后者改变了比较维度。
把模型与 harness 分成两层
“模型成绩”这个说法很容易省略执行环境。模型负责生成推理和动作建议,harness 则负责把任务上下文、工具调用、文件操作和结果回收组织起来。同一模型换一个 harness,最终完成率和成本可能不同;但这不等于模型本身变了。

看到一个比较结果时,可以按下面的层级逐项记录:
| 层级 | 要问的问题 | 为什么重要 |
|---|---|---|
| Benchmark | 是不是同一组任务和同一评测规则? | 任务难度、输入和评分口径不同,数字不能直接横比。 |
| Exact model | 两条结果使用的是不是同一个模型? | 不同模型的能力差异不能归到 harness。 |
| Reasoning effort | 是不是同一个 effort,公告指定的配对是否为 medium? | 推理预算变化会改变完成率与成本。 |
| Harness | 变化的是哪个代理执行层? | 工具编排、上下文处理和工作流策略可能在这里产生差异。 |
按坐标轴读取散点图
Harnesses 视图用散点图把两个结果放在一起:纵向看 resolution rate,横向看 mean cost per task。前者回答“任务完成得怎么样”,后者回答“平均完成一项任务花费多少”。一个点在左上区域,通常意味着同时具备较高完成率和较低平均成本;但这只是同一配对条件下的相对位置。
不要只盯着最高的纵坐标。若两个 harness 的完成率接近,成本差异可能更适合实际选型;若完成率差异明显,也要回头查看它是否伴随更高成本,以及任务类型是否与团队工作相似。

图中的连线用于连接匹配结果,帮助读者观察同一模型在不同 harness 下的移动方向。若点向上且向左移动,代表在该配对中完成率提高、平均成本下降;若只向上移动,则要接受更高成本可能换来更高完成率的取舍。
检查精确配对与统计波动
公告明确限制了 Harnesses 视图的比较范围:只展示精确的模型配对,并固定在 medium reasoning effort。Copilot-only 配置,例如 GitHub Copilot Fusion,以及无法匹配的结果会被排除,而不是拿另一个模型凑成比较。
这条规则是阅读结果的第一道防线。遇到没有显示某个配置时,不要直接推断它表现差,也不要用不同模型的最高分替换缺失的配对;更稳妥的解释是它不满足当前视图的可比条件。
图上还会用阴影椭圆表现已发布运行中观察到的 run-to-run variation。它提醒你:同一配置重复运行也可能有波动。配对差异区域则并列给出 Copilot CLI 的 resolution advantage(百分点)和 cost savings(百分比),并附上约 95% 的 bootstrap interval。区间较宽时,应该降低对小差异的确定性表述。
从一个“高点”开始排查
- 先锁定 benchmark。确认你看的到底是软件工程基准还是新加入的 Terminal-Bench-Science 0.1,不要把科学研究工作流的结果当成代码修复能力的直接替代。
- 再抄下完整配对。记录模型名称、medium reasoning effort 和两个 harness;缺一项就暂时不下结论。
- 同时记录两个坐标。把 resolution rate 与 mean cost per task 放在同一行,避免只保存成功率而丢失成本条件。
- 最后看波动和区间。若差异落在明显的运行波动内,团队复盘时应写成“当前公开运行中观察到差异”,而不是“某 harness 必然更强”。
把公开结果转成团队决策记录
如果团队准备把这类数据用于工具评估,可以建立一张很小的记录表。表头至少包含:benchmark、任务版本或入口、exact model、reasoning effort、harness、resolution rate、mean cost per task、运行波动、观察日期和限制说明。
然后把决策拆成三个问题:第一,团队的真实任务更接近哪一个 benchmark;第二,预算更在意成功率、成本,还是二者的平衡;第三,是否愿意为同一模型在不同 harness 中的工具编排差异做一次小规模内部试用。这样做的好处是把公开评测当作筛选线索,而不是把它当作脱离任务场景的最终答案。
常见误读
- 把 harness 分数当模型排行榜:不同模型或不同 effort 的结果不能用于解释 harness 差异。
- 把 public preview 当成最终承诺:公告说明的是当前公开视图和评测范围,不代表所有账号、计划或入口都拥有同样能力。
- 忽略成本:完成率更高不自动意味着团队总成本更低,必须一起看 mean cost per task。
- 把一次运行当定论:运行波动和 bootstrap interval 都是提醒,应避免用很小的差异做绝对判断。
总结
Copilot 基准站加入 harness 对照后,最有价值的变化不是多了一个“谁第一”的数字,而是把模型能力与代理执行层拆开了。阅读时先确认 benchmark、exact model 和 medium reasoning effort,再用 resolution rate 与 mean cost per task 看取舍,最后结合运行波动和约 95% bootstrap interval 判断差异是否值得行动。对团队来说,保留配对条件和限制说明,比摘走一个孤立百分比更可靠。
相关问题
为什么同一个模型换 harness 后成绩会变?
模型之外还有工具编排、上下文管理和任务执行策略。Harnesses 视图正是为了观察这一执行层差异,但必须保持模型和 effort 可比。
为什么有些 Copilot 配置没有出现在 Harnesses 视图?
公告说明 Copilot-only 配置和无法形成精确配对的结果会被排除。缺席本身不能证明配置性能更差。
Terminal-Bench-Science 0.1 能不能直接代表日常写代码表现?
不能直接代表。它关注科学研究工作流,适合补充观察代理在另一类任务上的表现,不能替代与团队代码任务更接近的基准。
Go go/ast.CommClause 怎样区分 select 通信分支与 default
- 上一篇
- Go go/ast.CommClause 怎样区分 select 通信分支与 default
- 下一篇
- Go image.Alpha.SubImage 怎样理解裁剪视图与原缓冲区的共享
-
- 科技周边 · 业界新闻 | 1小时前 |
- Copilot Evals 开放预览后,提示词和工具变化怎样纳入效果比较
- 301浏览 收藏
-
- 科技周边 · 业界新闻 | 1小时前 |
- Copilot CLI 预览 Entra 登录后,托管用户身份怎样关联
- 212浏览 收藏
-
- 科技周边 · 业界新闻 | 2小时前 | 工程实践 · GitHub 代码审查 Copilot code review Repository insights 研发度量
- Repository insights 新增 Copilot 审查结果后,反馈采纳情况怎样呈现
- 381浏览 收藏
-
- 科技周边 · 业界新闻 | 4小时前 | 开发工具 · GitHub GitHub Copilot MAI Code 2 MAI Code 2 Flash AI编码模型
- MAI Code 2 与 Flash 进入 Copilot 后,怎样理解两种模型的定位
- 445浏览 收藏
-
- 科技周边 · 业界新闻 | 5小时前 | 开发者工具 · GitHub Copilot 代码审查 Pull Request 密钥检测 Azure DevOps Adaptive
- Copilot 代码审查加入 Adaptive 后,审查深度怎样按变更调整
- 152浏览 收藏
-
- 科技周边 · 业界新闻 | 6小时前 | github · 开发工具 · 代理 pr Copilot app Azure DevOps
- Copilot app 接入 Azure DevOps 仓库后,代码工作流有哪些变化
- 157浏览 收藏
-
- 科技周边 · 业界新闻 | 7小时前 | github · copilot · AI编程 · 业界新闻 · GitHub GitHub Copilot Copilot Fusion 模型支持 入口核对
- Copilot Fusion 扩展可用范围后,怎样按入口核对模型支持
- 282浏览 收藏
-
- 科技周边 · 业界新闻 | 17小时前 |
- Meta Argo CD 与 Kargo 分离 AI 集群应用交付和基础设施发布
- 423浏览 收藏
-
- 科技周边 · 业界新闻 | 17小时前 |
- Kubernetes 1.37 弃用 IPVS 后怎样规划迁移
- 124浏览 收藏
-
- 科技周边 · 业界新闻 | 17小时前 | 云原生 · kubernetes · Kubernetes CNCF Workload Conformance
- Kubernetes 工作负载一致性小组要解决什么问题
- 238浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1095次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1092次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1259次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1200次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1049次使用
-
- Golang 单元测试和基准测试实例详解
- 2022-12-23 275浏览
-
- Go语言工程实践单元测试基准测试示例详解
- 2023-02-25 257浏览
-
- Go 1.25 testing.Attr 实战:别让 CI 测试报告只剩一堆失败日志
- 2026-06-02 478浏览
-
- Go 令牌桶限流实战:用 time.Ticker 保护高频接口
- 2026-06-13 484浏览
-
- Go map 预分配性能优化:make(map, n) 如何减少扩容和分配
- 2026-07-02 395浏览

