生成式模型评测集按任务分层的设计要点
生成式模型评测集应先按“模型需要完成什么工作”划分任务,再在任务内部标注难度、输入条件和异常情况。每层需要独立的样本数量、评分规则与结果记录,最后才决定是否汇总。把所有题目混成一个总分,会让高频简单任务掩盖低频但关键任务的失败。
例如,一个客服助手同时负责从订单材料提取字段、回答依据问题和压缩沟通记录。模型可能把摘要写得更流畅,却在退款条件回答中漏掉限制。下面以这个原创业务场景说明设计方法;示例配额与计算均为设计演示,不是实际模型测评结果,也不是通用行业标准。
评测工具官方地址:https://huggingface.co/docs/evaluate/index。Hugging Face 的评测文档区分任务、数据集和指标,并提供由多个子任务构成的 EvaluationSuite;以下业务分层方案是据此提出的工程建议,不是工具预设分类。
先用业务输出定义任务层
不要直接把产品菜单当作任务层。先写出输入、预期输出和判断标准:字段抽取输出固定键值;依据问答输出有材料支撑的回答;摘要输出压缩后的事实要点;信息不足时输出缺失信息或澄清问题。哪怕四类任务来自同一个聊天窗口,也应分别记录。
| 任务层 | 输入例子 | 主要判定 |
|---|---|---|
| 字段抽取 | 自有脱敏订单说明 | 必需字段、字段值、格式 |
| 依据问答 | 问题与允许引用的政策材料 | 结论、条件和材料支撑 |
| 内容摘要 | 一段客服沟通记录 | 必要事实覆盖与无新增事实 |
| 澄清请求 | 缺少关键条件的问题 | 识别缺口并提出有效追问 |
每条样本选一个主要任务标签;长输入、跨段证据、缺字段等另存为切片标签。若一条样本同时评抽取与问答,可设独立的子评分,但不要在总样本数中默默计算两次。

给每条样本保存可复核的评分条件
一条评测记录至少保存稳定样本标识、任务标签、输入材料、预期要点、评分规则和切片标签。依据问答还应标出证据所在材料;开放式摘要应保存必须保留的事实和不能新增的结论,不必强求逐字一致。样本内容使用获准使用且脱敏的材料。
以“客户能否退货”为例,参考规则可以要求回答同时说明期限和适用条件。若只把“能”当参考答案,模型答对一个字也可能遗漏重要条件。相反,把所有同义表达都判错,会把措辞差异当能力下降。
Hugging Face 的指标选择文档建议按任务及指标卡确定适用输入。工程上可把字段正确率、格式合规率和事实要点覆盖分别报告。文本相似度只能反映某个维度;高相似度不能单独证明回答有证据支撑。对于人工或模型辅助评分,应保存评分量表、评分者配置与争议样本,抽查一致性。
把常规覆盖与薄弱场景分开配置
先建立反映实际请求分布的常规集,再单列需要重点观察的挑战集。常规集用于判断日常体验,挑战集用于暴露已知薄弱条件。不要把刻意增加的困难题直接并入生产占比计算,否则总分代表的分布就变了。
假设准备400条练习样本,可以先为四个任务各安排100条,便于初步横向观察;这只是演示配额。如果真实业务绝大多数是字段抽取,可另外按实际请求结构估计权重,并补足低频任务的观察样本。均匀抽样和业务加权回答的是不同问题,需要分别标明。
任务内部选择长短材料、证据位置、条件缺失和同义表达等切片。不要为了填满每种组合强行创造无业务意义的题目;确实没有样本的切片应标记未覆盖。相同订单或同一材料改写出的样本要关联来源标识,划分开发集和测试集时尽量按来源组隔离。
先看分层结果,再决定怎样汇总
报告先列每个任务的样本数、分母定义、通过数和失败原因,再列切片。超时、空回答、格式解析失败要明确计数或单列,不能悄悄从分母中删除。两个版本应使用相同数据、提示模板、生成参数和评分口径;修改了其中一项,就记录变化,避免把环境变化误认成模型进步。
如果各任务都被定义为同口径的通过率,可以展示任务等权平均,或按预先确定的业务占比加权。例如两个任务的演示通过率为90%与50%,等权平均为70%;若权重是80%与20%,加权值为82%。这两种数值并不冲突,却都需要同时展示原始分层值。不要把不同尺度的ROUGE、人工等级和字段正确率未经转换直接平均。

低样本层应附样本数并保守解释差异。需要估计不确定性时,可根据数据依赖关系选择合适的重采样方法;同源样本不要简单视为完全独立。关键任务的最低可接受条件应由业务负责人事先约定,不应在看到结果后再挑选有利阈值。
维护固定测试集与新增问题集
开发集用于日常调整,固定测试集用于比较已经确定的候选方案;新增线上问题放进独立回归集,确认标注和评分后再按版本并入。Hugging Face 的评测注意事项强调训练、调参与测试用途的区分;在生成式应用中,提示词反复针对测试题调整,同样会降低最终测试的独立性。
每次发布评测结果同时保存数据版本、任务清单、生成配置、评分规则、汇总权重和失败样本索引。删题要保留理由;修订参考答案要升级数据版本。这样后来看到“总分提高”时,仍能分辨是模型变化、题目变化还是评分变化。
四个任务必须平均分配样本吗?
不必须。均匀配置适合早期诊断,生产代表性需要结合实际分布。报告必须说明抽样与加权方式。
能只使用公开榜单替代业务评测吗?
公开榜单可帮助了解特定任务表现,但输入材料、输出约束和评分方式未必匹配业务,应另保留自己的代表性任务集。
任务很多时怎样避免报告失控?
保留稳定的一级任务,把输入长度等做成切片标签;先报告核心任务,再按失败原因展开,不必为每个标签组合单独建立永久任务。
官方参考:https://huggingface.co/docs/evaluate/choosing_a_metric;https://huggingface.co/docs/evaluate/considerations;https://huggingface.co/docs/evaluate/evaluation_suite。
Hugging Face Datasets IterableDataset 怎样跳过前 N 条样本
- 上一篇
- Hugging Face Datasets IterableDataset 怎样跳过前 N 条样本
- 下一篇
- Sentence Transformers 多进程编码任务的设备分配方法
-
- 科技周边 · 人工智能 | 19分钟前 |
- FAISS 向量索引选择与召回精度的对比方法
- 212浏览 收藏
-
- 科技周边 · 人工智能 | 21分钟前 | python · FAISS IndexIDMap2 remove_ids 向量删除 自定义ID
- FAISS IndexIDMap2 怎样按自定义 ID 删除向量
- 334浏览 收藏
-
- 科技周边 · 人工智能 | 22分钟前 | 人工智能 · GPU CPU embedding Sentence Transformers multi-process 设备分配
- Sentence Transformers 多进程编码任务的设备分配方法
- 301浏览 收藏
-
- 科技周边 · 人工智能 | 25分钟前 | python · 人工智能 · skip take Hugging Face Datasets streaming IterableDataset
- Hugging Face Datasets IterableDataset 怎样跳过前 N 条样本
- 294浏览 收藏
-
- 科技周边 · 人工智能 | 32分钟前 | 人工智能 · Hugging Face Datasets IterableDataset repeat
- Hugging Face Datasets repeat 怎样按指定次数重放样本
- 195浏览 收藏
-
- 科技周边 · 人工智能 | 45分钟前 |
- 大模型 API 流式输出的断线续传处理方案
- 403浏览 收藏
-
- 科技周边 · 人工智能 | 47分钟前 | 人工智能 · 批处理 · PyTorch chunk_size torch.func.vmap vmap in_dims out_dims
- PyTorch torch.func.vmap 怎样把单样本函数批量化
- 230浏览 收藏
-
- 科技周边 · 人工智能 | 53分钟前 | 人工智能 · PyTorch 性能测量 torch.compile TorchDynamo Inductor
- PyTorch torch.compile 怎样区分首次编译耗时和后续执行耗时
- 231浏览 收藏
-
- 科技周边 · 人工智能 | 56分钟前 |
- PyTorch Tensor.to 怎样避免相同设备上的无效复制
- 294浏览 收藏
-
- 科技周边 · 人工智能 | 59分钟前 |
- Hugging Face DataCollatorWithPadding 怎样按最长序列动态补齐输入
- 144浏览 收藏
-
- 科技周边 · 人工智能 | 1小时前 | 人工智能 · PyTorch View detach Tensor.detach_ autograd
- PyTorch Tensor.detach_ 为什么不能用于 view
- 230浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1084次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1084次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1247次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1191次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1037次使用
-
- CodeGeeX for Jetbrains IDEs正式上线!
- 2023-01-17 284浏览
-
- 技术阿里云实现ocr批量图片和pdf文件表格图片转换excel文档/支持票据图片提取/普通图片文字提取处理
- 2023-01-18 387浏览
-
- 直播预告|FeatureStore Meetup V2
- 2023-01-10 328浏览
-
- 深入浅出特征工程 – 基于 OpenMLDB 的实践指南(上)
- 2023-02-25 426浏览
-
- 开源机器学习数据库OpenMLDB v0.4.0产品介绍
- 2023-01-10 147浏览

