大模型评测为什么偏爱更长答案：位置偏差、盲评与成对比较

同一组模型答案交给评测模型打分时，长答案常常显得更“完整”，但这不等于它真的更好。只要把两个答案交换位置、隐藏模型名称，再重复几次成对比较，就能看出结果到底来自内容质量，还是来自位置、长度和格式线索。

先做盲评，再交换 A/B 位置并重复试验；如果胜负随位置明显变化，就不能把一次评测分数当成稳定结论。

为什么一次成对比较不够说明问题

成对评测通常把问题、答案 A、答案 B 和评分标准一起交给评测模型。评测模型需要选择 A、B 或平局。这个设计很方便，却把几个变量绑在了一起：答案写得更长，可能包含更多解释；答案排在前面，可能获得先读优势；标题、列表和代码块，也可能让模型误把格式完整当成事实充分。

公开研究已经把“交换两个答案的位置”作为检查 position bias 的基本实验。代码和日志里可以把这个待检现象统一记作 position_bias。这里要注意边界：论文中的实验结论不能直接变成你自己业务数据的阈值。工程上能做的是保留每一次判断，先确认评测流程是否对位置敏感，再讨论长答案是否值得奖励。

先把模型身份和顺序线索藏起来

第一步是固定题目和评分标准，只替换答案内容。不要在答案前显示模型名、版本名或生成耗时；这些字段会让评测模型提前猜测答案来源。为了让后续日志能追踪样本，可以在你自己的记录里使用 sample_id，但不要把真实模型身份拼进发送给评测模型的文本。

下面的最小示例把一次评测和位置交换拆成两个函数。judge_once 只负责调用评测器并返回 A/B 结果，swap_answers 负责构造交换后的输入；它们的职责分开后，日志可以判断“内容判断变了”还是“只换位置就变了”。

def judge_once(question, answer_a, answer_b, rubric):
    prompt = {
        "question": question,
        "answer_a": answer_a,
        "answer_b": answer_b,
        "rubric": rubric,
    }
    return evaluator(prompt)


def swap_answers(result):
    return {
        "question": result["question"],
        "answer_a": result["answer_b"],
        "answer_b": result["answer_a"],
        "rubric": result["rubric"],
    }

真实项目里的 evaluator 应该接入你已经选定的评测服务，并记录请求编号、返回的选择和失败原因。示例不假定某个供应商的字段格式，也不把“长答案一定更差”写成结论。

交换 A/B 位置，观察胜负是否翻转

对每道题至少跑两次：第一次使用原顺序，第二次使用交换后的顺序。为了减少单次采样的偶然性，可以固定题目、评分标准和采样配置，重复多轮；每轮只改变答案位置。若原顺序选择 A，交换后仍选择原来的那份答案，说明这道样本具有位置一致性；若选择跟着 A 这个位置走，说明它需要标记为位置敏感。

“长答案胜出”也要按同一份答案追踪，而不是按字母 A/B 统计。把答案长度、原始位置、交换后的选择和最终人工抽查结果放在一张记录里，才有机会区分 verbosity preference 与 position bias。

把盲评结果聚合成可复查的指标

不要只导出一个总分。至少保留三类指标：答案身份的胜率、交换前后的选择一致率，以及按答案长度分桶后的胜率。下面的聚合逻辑只处理已经落盘的结构化结果，输入字段包括 blind_pair、swap_answers 和 win_rate，不会在统计阶段重新猜答案内容。

def aggregate_votes(rows):
    stable = 0
    judged = 0
    wins = 0
    for row in rows:
        if row["blind_pair"] is False:
            continue
        judged += 1
        if row["original_winner"] == row["swapped_winner"]:
            stable += 1
        if row["answer_id"] == row["original_winner"]:
            wins += 1
    return {
        "position_consistency": stable / judged if judged else None,
        "win_rate": wins / judged if judged else None,
    }

这里的 win_rate 必须明确分母和答案身份；如果把原始位置当成答案身份，交换实验会把统计结果污染。position_consistency 也不是质量分，它只回答“换位后是否仍选择同一答案”。最终报告应把这两个维度和人工复核样本放在一起。

如何处理长答案带来的表面优势

如果长答案在盲评里更常胜出，先做长度分桶和人工抽查：短、中、长三组使用同一评分标准，检查长答案增加的是有效证据，还是重复解释、更多小标题和更强的语气。不能因为长度相关就直接删掉长答案，也不能因为评测模型偏爱完整排版就把它当成质量证明。

一个稳妥的改进是把“事实正确、任务完成、限制条件”拆成独立维度，每个维度要求给出简短证据，再把成对选择作为辅助结果。这样做会增加标注成本，但能减少“写得多所以看起来更好”的单一信号。

常见误区与复查清单

只交换一次位置就宣布去偏

一次翻转可能是采样噪声。保留每题的重复次数和原始响应，至少按题型观察是否存在稳定方向。

把隐藏模型名等同于完全盲评

盲评主要遮住身份线索，答案长度、格式和语气仍然可见，所以长度分桶和人工抽查不能省略。

用 A/B 字母直接计算胜率

交换位置后，A/B 的含义已经变了。统计时必须绑定稳定的 answer_id，再计算答案身份的胜率。

相关问题

长答案一定会被评测模型偏爱吗？

不一定。它可能提供了更多有效证据，也可能只是增加了重复内容；需要长度分桶、位置交换和人工抽查共同判断。

盲评应该隐藏哪些字段？

至少隐藏模型名称、版本、生成耗时和供应商标识；题目、评分标准和答案正文仍要保留。

位置一致性高就代表评测可靠？

不代表。它只说明换位后选择较稳定，还要检查是否稳定地偏向了错误答案，以及和人工判断是否一致。

把一次分数改造成一组证据

大模型评测最怕把不可见的偏差包装成精确分数。可复用的最小流程是：固定题目和评分标准，隐藏身份线索，执行盲评，交换 A/B 位置，按稳定答案身份聚合，再抽查长短答案的代表样本。报告里同时放出胜率、位置一致性、重复次数和异常样本，读者才能判断这个分数到底说明了什么。