AI 应用为什么会把检索结果当答案：引用绑定、证据片段与拒答边界

线上知识库问答出现“看起来有依据、其实答偏了”时，问题往往不在模型不会生成，而在应用把检索片段直接当成了结论。只要命中一段相似文字，程序就把它塞进提示词，随后用一条肯定句包装出来；原文没有回答这个问题，系统也没有给出拒答机会。

检索结果只能证明“这里可能相关”，不能自动证明“这句话就是答案”。可靠的 RAG 输出至少要同时验收证据覆盖、引用绑定和证据不足时的拒答。

症状：引用很多，回答仍然答非所问

先看一条典型请求：用户问“报销单提交后多久能看到审批结果”，知识库里有三段内容，分别讲提交入口、审批节点和历史系统的处理时限。检索器返回了后两段，模型便把“审批节点”改写成“通常两个工作日完成”。问题是，返回片段里并没有这句承诺，只有旧系统的流程说明。

排查时不要先换模型。把最终回答中的句子拆成几条最小声明，例如“提交后可在审批记录查看状态”“处理时限为两个工作日”。前一句可能有证据，后一句需要单独核对。只要其中一条没有对应片段，整段回答就不应该显示为已确认。

先做一个最小的证据验收器

把模型输出约束成“声明 + 引用”的结构，应用层再做一次检查。示例字段不依赖某个厂商 SDK，重点是让每个可验证句子都拥有自己的证据编号。

{
  "answer": "提交后可在审批记录查看当前状态。",
  "claims": [
    {
      "text": "提交后可在审批记录查看当前状态",
      "evidence_ids": ["doc-17#p3"],
      "confidence": "supported"
    }
  ]
}

验收器至少检查四件事：声明不能为空；引用编号必须来自本次检索结果；片段内容要覆盖声明中的关键实体和动作；回答中的数字、日期、条件词必须能在片段里找到。这里的“覆盖”不是简单字符串包含，可以先用实体词和关键关系做便宜检查，再把疑难句交给第二次判定。

为什么不能只看相似度分数

相似度适合筛选候选，不适合直接当事实分数。一个片段可能和“审批结果多久可见”共享“审批、提交、记录”等词，却来自另一套流程。工程上更稳的做法是保存 `doc_id`、段落序号、更新时间和命中分数，让后面的判断知道自己究竟引用了什么。

把回答句和证据片段绑定起来

最常见的漏检是“引用挂在段落末尾”。段落里有三句话，只放一个引用，读者无法判断它支持哪一句。可以把回答拆成原子声明，然后为每条声明生成绑定记录：

声明 A：提交后可以查看审批记录
证据：doc-17#p3
绑定理由：同一主体“审批单”，同一动作“查看记录”

声明 B：两个工作日内完成
证据：无
处理：拒答或追问适用的流程版本

绑定理由值得保留。它不是给用户看的长解释，而是排查时的线索：究竟是实体相同、动作相同，还是只因为两个片段都出现了“审批”二字。引用卡片也要带出片段原文和范围，避免只显示一个可点击的文件标题。

证据不足时，拒答要有明确边界

拒答不等于一句冷冰冰的“我不知道”。它应该说明缺哪一块信息，并给用户一个缩小问题的方向。例如，知识库只说明“不同地区按当地规则执行”，那么系统可以回答“资料未提供你所在地区的时限，请补充地区或查看对应规则”，而不是猜一个全国统一数字。

可以把输出分成三档：全部核心声明都有片段支持时正常回答；只有部分支持时，只输出已支持部分并明确缺口；没有支持时返回澄清问题或拒答。不要用“可能、一般、通常”把未证实的句子伪装成低置信度答案，这些词并没有自动降低错误的影响。

用四组用例把问题固定下来

上线前准备一个小而尖的验收集，比堆很多平均命中率更有用。每组至少放一条真实问题和一条相似干扰问题：

回归记录不只保存最终文本。至少保存问题、检索片段、声明列表、绑定结果和最终状态。这样某次索引更新后回答变差，才能判断是召回变了、片段范围变了，还是模型把原本的拒答改成了肯定句。

常见问题：引用校验应该放在哪里

只在前端显示引用够不够吗？

不够。前端可以负责展示，但声明拆分、引用合法性和证据覆盖必须在服务端或可信的中间层完成，否则绕过页面就能拿到未验收的文本。

每句话都要绑定一段原文吗？

对事实、数字、日期和条件判断，建议逐句绑定。纯粹的过渡句可以不绑定，但不能借过渡句偷偷加入新的事实。

证据冲突时能不能选更新时间最新的那条？

只有当业务规则明确规定“最新版本优先”时才可以这样做。否则应把版本、地区或生效条件交给用户确认，不能只凭时间字段裁决。

把“相关”与“支持”分开验收

RAG 系统的检索指标和回答指标应该拆开看：检索负责把候选片段找回来，回答负责证明自己没有超出片段边界。下一次遇到“引用很多但仍然不可信”，可以沿着声明、证据范围、绑定理由和拒答分支逐项检查。通常不需要先换更大的模型，先让每一个肯定句都回答“哪一段原文支持它”，问题就会清楚很多。