RAG 检索结果如何按置信度分层：上下文截断与引用保留

RAG 问答里最容易被误用的数字，是检索结果旁边那个相似度分数。分数高，只能说明 query_embedding 和 document_embedding 在当前模型、索引和数据分布下更接近，并不等于这段文字足以支撑完整答案。更稳的做法是把结果分成高、中、低三层：高层进入回答上下文，中层先补充关键词或重排，低层只记录不喂给模型。

把 similarity_score 当作排序信号，而不是事实置信度；真正决定能否回答的，是分数、来源完整度、上下文预算和引用覆盖率一起通过检查。

先把相似度分数放回它该在的位置

假设一次查询返回 8 个片段，最高分为 0.86，第二名为 0.84。这个结果只回答了“哪些片段在向量空间更近”，没有回答“片段是否包含问题所需的条件”。例如用户问某个 SDK 的超时默认值，片段可能都来自旧版本说明；分数很漂亮，答案仍然会错。

OpenAI 的 Embedding FAQ 说明，归一化向量可以用点积更快地计算余弦相似度，且两种距离的排序一致。这个事实适合用来解释排序，不适合凭经验直接设定“0.8 就可信”。阈值必须和自己的查询集、切块方式、模型版本一起测。

用一组固定问题校准高、中、低三层

不要先看线上偶然案例再倒推阈值。准备一组带标准答案和来源的 query，例如“退款申请需要哪些字段”“哪个版本引入这个参数”，每个问题标出真正支持答案的文档片段。然后固定 embedding 模型、切块规则和 topK，记录每条结果的 similarity_score、是否命中支持片段、是否有 source_url。

可以先用下面的最小规则做离线统计：

def classify_hit(item):
    if item["similarity_score"] >= 0.82 and item.get("source_url"):
        return "high"
    if item["similarity_score"] >= 0.70:
        return "middle"
    return "low"

for item in retrieved:
    item["confidence_layer"] = classify_hit(item)

这里的 high 不是“答案正确”，而是“值得进入下一道上下文检查”。离线评估时分别计算 Recall@K、带来源片段的命中率和最终拒答率。只优化最高分，可能让 Recall@K 上升，却把过期文档一并送进回答。

上下文预算决定哪些片段真正留下

通过第一层筛选后，还不能把所有高分片段直接拼成 prompt。先按文档来源、版本和引用编号去重，再从高层开始装入 context_budget；当一个片段和已选内容重复时，宁可让出位置给能覆盖新条件的中层片段。

selected = []
used_tokens = 0
for item in ranked:
    if item["confidence_layer"] == "low":
        continue
    if used_tokens + item["tokens"] > context_budget:
        continue
    selected.append(item)
    used_tokens += item["tokens"]

实际系统还应加一个“引用覆盖”检查：回答草稿中的每个关键结论，都要能映射到 selected 中的 source_url 和 chunk_id。若预算只够两段，而问题包含“适用版本”和“例外条件”两个要求，就优先保留分别覆盖这两个条件的片段，而不是机械地保留分数最高的两段。

第二个容易忽略的边界是截断位置。把长文档从尾部硬切掉，可能正好丢失“限制条件”；更稳的切法是保留标题、版本字段、正文命中句和相邻一小段，并在 chunk 元数据中保留原文序号，方便回答时生成引用。

一次可复现的结果对比怎么做

用同一批测试问题跑两组策略：A 组直接取 topK，B 组先分层、去重、按 context_budget 选择。输出不要只比较模型回答是否“看起来像对的”，至少保存三个字段：是否命中标准片段、引用是否覆盖关键结论、没有足够证据时是否拒答。

示例结果可以这样记录：A 组 Recall@5 为 0.86、引用覆盖率为 0.61；B 组 Recall@5 为 0.83、引用覆盖率为 0.79。这个对比说明 B 组少带了一些候选，但证据链更完整，不代表它在所有语料上都更好。正式上线前要按产品自己的问题分布重新测量。

如果 B 组的拒答率突然升高，先看阈值和来源字段是否过严，再看切块是否把版本信息拆散。这里别急着扩大 topK；更多片段会增加上下文噪声，也可能把旧版本答案带进来。

常见问题：分数、阈值和引用怎么判断

相似度达到 0.8 就能直接回答吗？

不能。0.8 只是当前模型和数据集中的排序信号，必须结合来源、版本和问题条件验证。

高分片段没有链接怎么办？

可以作为内部候选，但不应支撑需要对外解释的关键结论；优先寻找有 source_url 的同主题片段，找不到就让系统明确说明证据不足。

为什么 topK 越大，回答反而更乱？

候选越多，重复内容、旧版本和互相冲突的条件也越容易进入上下文。应按预算、来源去重和引用覆盖率筛选，而不是只扩大 K。

把检索质量控制落到线上指标

上线后保留每次检索的阈值配置、模型版本、topK、入选 chunk_id 和引用覆盖结果。每天抽样看低分拒答与高分错误各自占比；如果高分错误上升，通常要检查文档新鲜度和元数据过滤，而不是先调低阈值。

最后，给检索链留一个明确的停止条件：没有足够来源、关键条件未覆盖或上下文预算无法容纳必要证据时，返回“当前资料不足以确认”，并记录触发原因。对 RAG 来说，能解释为什么不答，往往比用一段高分但过期的内容填满上下文更可靠。