生成式回答怎样设计成对比较评测

生成式回答的成对比较，应让两个系统回答同一个问题，在相同上下文下隐藏系统身份，由评审按预先约定的任务标准选择偏好。聚合时保留平局，单列无效样本，并说明分母；不能把“更受偏好”直接解释成“事实正确率更高”。

下面给出一个面向两个回答系统的评测设计，不依赖某个商业平台，也不提供模型排名。文中的数量是手算教学例，不是已采集的用户反馈或模型实测结果。

把比较目标写成同一个用户任务

先确定你要比较的是模型本身、提示词版本，还是包含检索环节的完整回答系统。只更换其中一个因素，才容易解释结果。例如比较两个知识库回答方案，就应固定问题、可见参考材料、对话历史和业务要求，保存两份回答原文，再交给评审。

如果把检索也纳入系统差异，可以允许两个系统获得不同检索结果，但报告必须写清楚比较对象是完整系统，而不是只归因于生成模型。不能一边使用更多证据，一边仍声称是纯模型的公平对比。

样本按真实任务分层：信息查询、约束较多的说明、需要承认信息不足的问题等。每层都保留问题编号、任务类型及入选条件。不要只抽取容易看出差异的成功样本；同一问题产生多次回答时，也不能把每次生成都当成全新的独立用户任务。

开始前冻结系统版本、生成设置与评审规则。测试途中修改其中一项，应该标成新批次；否则先后收到的票可能根本不是在评同一个对象。

让评审看到答案而不是模型身份

评审页面或表单至少呈现用户问题、完成任务必需的背景、左右两份回答和统一准则。左右只用“回答左”“回答右”这样的中性标识，后台保存与系统A、系统B的映射，不展示品牌、版本、成本或历史排名。

每个比较项随机分配左右位置，并保存分配结果。抽取一部分问题交换左右再评时，重新映射回真实系统，观察偏好是否随位置翻转。换位记录不能直接当成双倍独立样本；同一评审短时间重复看到相同文本还可能产生记忆影响。

示例准则：在给定材料支持的范围内，哪份回答更准确地完成用户任务？优先考虑关键事实、约束遵守和信息是否足够；不要仅因篇幅长、语气自信或排版丰富而判优。无法判断时可以弃权，并说明缺少什么条件。

这是可改写的评审说明，不是对所有业务都成立的统一标准。若业务更关心摘要简洁，应把字数与覆盖要求写入原始任务，而不是评审到一半临时偏爱短答案。

交互上，两份回答要使用一致字号和展示宽度，允许查看完整内容，支持键盘定位选择项与明确的文字标签，不仅靠红绿颜色表达胜负。长文滚动、代码或表格折叠应保持对称；提交前让评审确认选项，避免默认勾选某一侧制造假票。

把平局、双差和无效记录分开

一个可维护的记录不应该只有“赢家”列。建议保存以下字段，字段名称是本例设计，不是某个评测平台的固定接口。

平局表示能比较但未发现足以判优的差别；双差表示两份都没达到最低可接受要求；无效记录表示无法获得可解释的比较，例如题目缺失、文本显示失败或评审缺少必要背景。双差不必等于平局：两份都不合格时，仍可能明确判断其中一份稍好。

因此本设计用“偏好”与“可接受性”两个字段。无法比较的记录不强制分给任一系统，保留无效原因；双差则另外报告，并事先决定主偏好指标是否纳入，不能等结果出来后挑口径。

先按问题聚合，再计算胜负与平局

同一问题若由多人评审，先保留个人原票，再按事先约定的多数规则形成该问题的胜、负或平；票数相同如何处理、无法判断是否参与、最低有效票数是多少，都应提前确定。人类评审与模型评审也应分开标记，不直接当作同一人群混算。

下面假设聚合后共100个问题，40个A胜、30个A负、20个平局、10个无法比较。本例把可比较的双差问题保留在偏好统计中，但可接受性另报。于是有效比较数N=40+30+20=90。

• 严格胜出比例：40÷90，约44.44%，平局保留在分母。
• 半平局得分：(40+0.5×20)÷90，约55.56%，每个平局给双方半分。
• 排除平局的胜率：40÷(40+30)，约57.14%，它只回答分出胜负时A赢多少。
• 平局比例：20÷90，约22.22%；无效比例则为10÷100=10%。

这三个胜负口径不能互换名称。只报57.14%会掩盖20个平局和10个无法比较；半平局得分高于50%也不等于已经证明A显著更好。

报告应同时给出分层样本数、上述计数和区间估计方法。若采用重采样估计不确定性，应以问题为成组单位处理同一问题的重复回答、重复评审与换位记录，而不是把相关票当成彼此独立。样本太少或任务覆盖窄时，保留“不足以下结论”比硬排高低更有意义。

先在每个任务层计算，再按预先约定的权重汇总。权重代表业务关注的任务分布，不能为了让某系统得分好看而改变。加权得分与直接合并计数的得分也应注明区别。

用边界样本解释结论适用范围

正式报告除了偏好，还要列出双差、无法判断、评审分歧和换位不一致的情况。这里讨论的是读者将来如何设计评测，不是本文已执行任何评审或校验。

可把结论写成：“在这组冻结任务、准则与评审群体中，A取得更高的半平局得分；某些任务仍有明显分歧。”不要扩大成“模型A在所有场景都更强”。位置平衡不能消除知识盲区，隐藏身份也不能自动消除对流畅文风的偏好。

能只用模型裁判吗？

可以作为独立的辅助评测设计，但需记录裁判版本和提示，并与目标用户偏好、事实要求区分。已有研究讨论了模型裁判的位置、篇幅和自我偏好等局限，不能把自动票直接当作人工真值。

双差很多，为什么胜率仍然高？

因为相对更好不等于达到可用门槛。两个方案都答错时，评审仍可能偏好其中一个；可接受性与偏好必须同时看。

比较两套提示词也要隐藏身份吗？

需要。展示“新版优化方案”等标签会给评审额外暗示。隐藏版本名称、固定共同条件和保留原始票，同样适用于提示词或检索配置比较。

方法参考：Chatbot Arena 成对人类偏好评测论文，https://arxiv.org/abs/2403.04132；模型裁判偏差研究 Judging LLM-as-a-Judge，https://arxiv.org/abs/2306.05685。本文的字段设计与计数示例是独立教学方案，不是复刻其平台或排行榜。