Reranker 分数阈值怎么避免过滤相关答案

Reranker 的分数适合排序，不一定适合直接当成“相关/不相关”的通用刻度。相同的 0.6，在不同模型、不同语言和不同数据集上可能代表完全不同的判断。要避免过滤掉相关答案，先统一分数口径，再用真实 query 的标注样本选阈值，并保留至少一条候选的兜底。

官方文档入口：https://huggingface.co/docs

最稳的策略是“先重排、后过滤”：不要凭经验写死一个数字；让阈值服务于召回率和答案覆盖率，低于阈值时仍保留 top-k 中最好的候选供后续判断。

先确认分数含义，再决定阈值

Reranker 通常把 query 和 document 成对输入，输出一个用于排序的分数。Sentence Transformers 文档提醒，部分 MS MARCO 模型默认返回 logits；加上 sigmoid 后才是 0 到 1 的展示口径，但这不会改变排序顺序。BAAI 的 bge-reranker-v2-m3 模型卡也同时展示了 raw score 和 normalize=True 的用法。

因此，第一步不是调整 threshold=0.5，而是把模型名、推理方式和分数变换写入日志。换模型后重新标定，不要把旧模型的阈值原样复制。

把候选集和相关性样本固定下来

线上只看到“答案为空”时，很难知道是召回阶段没有找到，还是 reranker 把答案过滤了。建议保存一小批真实 query：每条带上初始召回候选、reranker 分数、最终保留结果，并人工标记“相关、部分相关、不相关”。

阈值候选可以从低到高逐个回放。优先看“相关答案被保留的比例”，再看无关内容是否增加；如果业务更怕漏答，就应把阈值放在召回率开始明显下降之前。

用分层阈值和 top-k 兜底过滤

在线过滤不要只有一个分支。对明显高分的候选直接保留；处于中间区间的候选交给第二个规则或答案生成器判断；全部低于阈值时至少保留 top-k 中的一条，并在后续提示词里要求模型核对证据。

from FlagEmbedding import FlagReranker

# normalize=True 把模型分数映射到 0 到 1，便于在同一套样本上调参。
reranker = FlagReranker("BAAI/bge-reranker-v2-m3", use_fp16=True)

def select_context(query, passages, threshold=0.42, top_k=3):
    # 每个分数都对应同一个 query-document 对，不能只给文档单独打分。
    pairs = [[query, passage] for passage in passages]
    scores = reranker.compute_score(pairs, normalize=True)
    ranked = sorted(zip(passages, scores), key=lambda item: item[1], reverse=True)

    # 先按统一分数过滤；示例阈值必须用业务样本重新标定。
    kept = [(text, score) for text, score in ranked if score >= threshold]
    if not kept and ranked:
        # 防止所有分数略低于阈值时上下文完全为空。
        kept = ranked[:top_k]
    return kept

这里的 0.42 只是代码示例，不是通用答案。生产配置应把阈值、top_k、模型版本和样本集版本一起记录。若文档很长，还要在 reranker 之前按段落切分，否则截断会让分数偏低。

用业务指标复查“过滤得更干净”是否真的更好

至少比较三组结果：相关候选保留率、最终答案覆盖率、无关候选进入上下文的比例。不要只看平均 reranker 分数；阈值升高通常会让上下文更干净，却也可能把唯一的正确证据删掉。

如果不同问题类型的分数分布差异很大，可以按语言、文档类型或 query 意图分别标定阈值。若没有足够标注数据，先降低过滤强度，记录低分样本，再逐步补齐标注，避免一次上线把召回率打穿。

常见问题

为什么分数已经归一化，阈值仍然不能通用？

sigmoid 只改变数值表达范围，不会让不同模型自动共享同一套校准。阈值仍要按模型和业务数据重新选择。

所有候选都低于阈值时应该怎么办？

保留 top-k 中最好的少量候选，并把“低置信度”交给后续答案生成或人工复核，通常比直接返回空上下文更安全。

阈值越低是不是召回率越高？

一般会保留更多候选，但噪声也会增加。最终要看答案覆盖率和误召回之间的平衡，而不是单独追求某一个指标。

收尾检查

上线前固定模型与分数口径，保存 query-document 样本，回放多个阈值，检查相关答案保留率，并验证“无候选”兜底是否生效。这样调整 reranker 阈值时，改动的是可解释的过滤策略，而不是一个脱离数据的经验数字。