当前位置:首页 > 文章列表 > 科技周边 > 业界新闻 > Copilot Evals 开放预览后,提示词和工具变化怎样纳入效果比较

Copilot Evals 开放预览后,提示词和工具变化怎样纳入效果比较

来源:17golang原创 2026-11-18 17:44:49 0浏览 收藏

提示词、技能或 MCP 工具变化后,应保留相同的任务和验收条件,再比较变更前后的行为,而不只挑选一次看起来不错的回答。GitHub 在2026年11月17日宣布 Copilot Evals 进入公开预览,将这种重复比较引入 Copilot 定制场景。

官方公告地址:https://github.blog/changelog/2026-11-17-github-copilot-evals-is-now-in-public-preview/

把定制变化放进同一比较框架

一个常见的团队场景是:旧提示词能完成任务,但步骤较多;新提示词更短,也更愿意调用工具。仅看最后一次回答,两种方案可能都“像是对的”。真正需要比较的,是它们面对相同任务时,结果是否符合要求,以及过程是否符合团队约束。

可以把这种模式称为“固定任务下的定制回归比较”。固定的是任务意图和验收规则,变化的是待研究的定制。这样做的价值在于,避免把任务难度变化误认为提示词改进,也避免工具权限不同却仍把成绩直接放在一起。

这里的命名和组织方式是本文对团队采用的建议,不是公告新增的一组产品字段或强制流程。

同一任务和验收条件关联变更前后两种定制方案
图1:原创结构说明图,以相同任务和验收条件比较定制变化,不展示真实运行成绩。

公告确认了哪些入口与能力

GitHub 将 eval 描述为可重复的 AI 行为测试:提供现实任务与良好结果的标准,同时检查结果和完成方式。用户可以用自然语言或 /eval 创建评估、查看检查通过与失败情况、分析失败,并比较定制变化前后的运行;每次运行开始前需要用户批准。其评估引擎采用本地工具 Vally。

公告列出 VS Code 扩展、Copilot CLI 插件和 Copilot app 插件三个接入方向;app 的安装方式包括在 Customize 中添加 github/evals marketplace。公开预览范围列出 Copilot Individual、Business 和 Enterprise。预览状态不应被写成正式稳定发布,也不能由套餐范围推导出额外的免费额度或统一组织政策。

公告事实采用时需要区分
能够比较前后运行不是自动证明任何改动都更好
覆盖技能、定制代理与 MCP 工具不是只比较最终回答文字
每次运行需要批准不能直接推断为无人值守流水线
采用本地评估引擎不能据此推断所有模型或工具通信都在本地

团队可以怎样组织比较样本

以下是基于公告能力提出的工程组织建议,并非产品保证。第一轮可以先选择一个能说清完成条件的小任务,例如“整理指定模块的调用说明,并标明无法确认的信息”。保留一份固定输入和预期约束,比立刻收集大量模糊任务更容易发现比较中的变量。

随后只改动一个主要因素。若研究提示词,就尽量固定模型、技能和工具集合;若研究工具定义,就保留原任务和验收方式。确实需要同时升级多个因素时,把它当成整体方案比较,不把结果归因于其中某一句提示词。

验收也可以分为结果与过程两部分。结果关注是否完成所需信息,过程关注是否使用了允许的工具、是否在缺少证据时给出限定。这样能把“答对但越过操作范围”与“遵守范围但未完成任务”区分开来,不用一个总分掩盖原因。

对团队记录而言,建议保留任务版本、定制版本、模型选择、工具集合和运行观察。这里是建议保存的背景信息,不表示 Copilot Evals 已经自动记录或导出这些字段。文章不提供未经公告确认的文件格式、配置键或命令参数。

结果要求、过程约束和运行观察共同关联比较结论
图2:原创结构说明图,将结果与过程分开讨论,图中没有通过率、排名或虚构评估报告。

哪些结论不能从一次通过得出

一次通过可以帮助确认某条样本的表现,却不能代表所有任务都已改善。对比时应注意容易成功的样本之外,是否还有信息不足、工具不可用和任务约束冲突等情况。补充这些样本是本文的采用建议,不是声称公告已经内置特定测试集。

同时,评估规则本身也会影响结论。如果新方案与旧方案使用不同标准,就不能直接说新方案提高了能力。规则确实需要修改时,应同时重新审视两种方案,并在记录中说明条件发生了变化。

对于尚未形成固定工作方式的个人使用者,可以先用少量任务理解失败原因;对于维护共享技能和代理配置的团队,更适合逐步积累可重复的比较样本。公开预览提供的是建立反馈的工具入口,具体采用效果仍取决于任务、条件与观察质量。

有了 Evals 就能自动选出最佳提示词吗?

公告强调的是创建、运行、检查和比较。不能由这些能力直接推导出自动全局寻优或保证最佳方案。

是不是只要最后答案正确就算改进?

应根据任务判断。涉及工具调用的代理,还需要关注过程约束;本文建议将两者分开记录。

能把本地引擎理解成完全离线吗?

不能。本地评估引擎的运行位置,并不自动说明被评估模型与外部工具的数据路径。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
JavaScript HTMLOutputElement.htmlFor 怎样读取输出元素关联的控件标识列表JavaScript HTMLOutputElement.htmlFor 怎样读取输出元素关联的控件标识列表
上一篇
JavaScript HTMLOutputElement.htmlFor 怎样读取输出元素关联的控件标识列表
Go testing/iotest.OneByteReader 怎样模拟逐字节读取的输入
下一篇
Go testing/iotest.OneByteReader 怎样模拟逐字节读取的输入
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1095次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1092次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1258次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1200次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1047次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码