LLM 评测集如何区分事实错误和表达偏差

LLM 评测里最容易被忽略的一点，是“说错了”和“说得不好”不是同一种失败。回答把日期、数量、人物关系说反，属于事实错误；事实大致正确，却绕圈、漏掉用户要求的格式，属于表达或任务完成问题。两者混成一个总分，最后只知道模型变差了，却不知道该改检索、提示词还是输出模板。

先把两类问题拆开：事实层和表达层

建议给每条样本准备一份“问题—参考答案—证据片段—任务约束”。证据片段是事实判断的边界：参考答案没有写到的内容，不要凭标注者印象判错。事实层至少检查实体、数值、时间、因果和否定关系；表达层再检查结构、清晰度、冗余、语气和格式。

还要单独保留“任务完成度”。例如用户要求列出三项风险，模型只列出两项，即使两项内容都正确，也不能把它简单标成表达问题。Hugging Face 的评测文档也强调，指标要跟任务匹配，不存在适用于所有数据集的单一指标；这正是分层标注的理由。

给评测样本设计可复核的标签

不要只存一个 pass/fail。可以用三级标签：事实层为“正确、部分正确、错误、无法判断”；表达层为“清晰、可读但有偏差、严重影响理解”；任务完成度为“完整、部分完成、未完成”。每个非通过标签都附上证据位置和一句理由，后续复核才不会变成重新猜测。

下面的结构是示意性的字段组织，评测框架可以继续扩展。循环里的中文注释说明了为什么把事实与表达分开：

for item in records:
    # 事实层只对照证据，不因文风不好就判成事实错误
    factual = judge_facts(item.answer, item.evidence)
    # 表达层检查结构、清晰度和约束，不改写事实结论
    style = judge_expression(item.answer, item.requirements)
    # 完成度单独统计，防止“答对一半”被平均分掩盖
    item.labels = {"factual": factual, "style": style,
                   "completion": judge_completion(item.answer, item.requirements)}

分别统计，结果才有改进方向

汇总时至少输出三组比例：事实错误率、表达偏差率、任务未完成率；再按低、中、高严重性拆一层。事实错误率高，优先检查知识来源、检索片段和引用约束；表达偏差率高，优先调整系统提示、输出格式或后处理；完成度低，则回到任务拆解和响应协议。

不要把三项直接相加成“模型总分”。总分可以用于排序，但发布结论时应保留分项结果。Hugging Face 的 Evaluate 文档把指标分为通用、任务特定和数据集特定几类，使用时还要遵守指标要求的输入格式；评测集的字段也应保持稳定，避免同一列今天表示事实、明天表示文风。

用复核一致性防止标签漂移

先抽取一小批样本，由两名标注者独立判断，再讨论分歧。重点看“部分正确”和“无法判断”的边界：如果没有证据可查，应保留不确定性，而不是为了凑齐准确率强行判错。每次修改标签定义，都记录版本，并用同一批锚点样本回放，观察规则是否改变了历史分布。

数据准备可以参考 Hugging Face Datasets 对字段、ClassLabel 和嵌套结构的组织方式；如果使用 Hugging Face 的 Evaluate，则先阅读对应 metric card 的输入和限制。官方入口：https://huggingface.co/docs

相关问题

事实正确但回答没有覆盖全部要点，算哪一类？

事实层可以判为正确，但任务完成度判为部分完成；不要把遗漏自动改写成事实错误。

表达偏差要不要直接扣准确率？

不建议。准确率用于事实或任务标签，表达质量应保留独立指标，除非业务明确规定表达失败会导致任务失败。

只有一个参考答案还能评测吗？

可以，但要把证据范围和允许的等价表述写清楚，并把无法由单一参考答案判断的样本标成需复核。