多模态 RAG 为什么会把图片上下文丢掉：OCR、切片与引用回链的排查顺序

多模态 RAG 最容易让人误判的一种故障是：检索日志显示图片相关文档已经命中，最终回答却像没看过图片。这个现象通常不是“模型视觉能力不够”这么简单，而是图片在 OCR、图文切片、向量检索和引用回链之间丢了一段上下文。

先把“命中图片”和“理解图片”分开

排查时先记录一条完整链路：原图文件、OCR 结果、切片内容、向量命中、送给模型的上下文，以及回答里的引用。只看向量库的 topK 很容易把“文件被召回”误认为“图片语义可用”。

image_id=img-042
document_id=manual-17
page_id=8
retrieved_chunk=manual-17:p8:chunk-02
has_ocr=true
has_caption=true
source_ref=manual-17#page=8

这里的 image_id 只是资产定位，document_id 和 page_id 才负责把 OCR、图片描述和原文页码串起来。如果检索结果只有 filename，后面的回答阶段即使拿到相似文本，也无法可靠地回到原图。

第一处检查：OCR 结果有没有进入同一张切片

很多流水线把 OCR 当成独立附件写入对象存储，却没有把文本合并到页面切片。结果是图片能被文件名召回，OCR 里的表格字段却没有参与检索。建议为每个图片片段保留稳定的元数据，并在入库前打印一条可读的样本。

{
  "text": "最大并发数 64，超时 30 秒",
  "metadata": {
    "document_id": "manual-17",
    "page_id": 8,
    "image_id": "img-042",
    "source_ref": "manual-17#page=8",
    "content_kind": "ocr"
  }
}

如果 OCR 文本和图片描述分别生成 embedding，至少要在检索结果合并时按 document_id + page_id 聚合。否则一个结果告诉模型“这是第 8 页”，另一个结果却没有任何页码，引用链就会断掉。

第二处检查：切片边界有没有切掉图片说明

图注、表格标题和图片本身往往是一个语义单元。按固定字符数切片时，常见情况是上一块只剩图注，下一块才有 OCR 数值；两块单独看都不够回答问题。可以在切片阶段给图注保留一个小的重叠窗口，或者将图注与 OCR 摘要组成一个图片块。

实际验收不要只比较 chunk 数量，而要抽查三件事：图片块能否找到 image_id，OCR 数值是否和页码同块，source_ref 是否能回到原始资源。少一个字段，都应视为不可引用的召回结果。

第三处检查：上下文预算是否把证据挤出去了

修好前两步后，仍可能出现“检索正确、回答遗漏”。这时看模型请求前的最终 prompt，而不是只看检索服务日志。图片描述过长、重复 OCR 或 topK 过大，都会让关键片段在截断时消失。

一个实用顺序是：保留问题相关的 OCR 数值，再保留一句图片描述，最后才追加相邻正文。对每个上下文块标记 priority，截断时优先删掉重复描述，不要从带有 source_ref 的证据块中间截断。

用引用回链做最后一次反向验证

测试问题应包含图片里的一个明确字段，例如“第 8 页的最大并发数是多少”。验收结果至少包含答案、证据片段 ID 和原图页码。只要答案正确但引用指向了别的页，仍然不能算修复完成，因为生产检索还会遇到相似图片。

answer: 最大并发数是 64
evidence_chunk: manual-17:p8:chunk-02
source_ref: manual-17#page=8
grounding: pass

如果 grounding 失败，先回看最终上下文和 metadata，不要马上调大模型温度或盲目增加 topK。多模态 RAG 的这类问题，数据链路证据通常比模型参数更早给出答案。

常见问题

为什么文件名检索命中了，图片里的数字还是答不出来？

文件名只能证明资产被召回，不能证明 OCR 文本或图片描述进入了模型上下文。检查同一块结果里是否有 OCR 文本和稳定的页码引用。

OCR 和图片描述应该共用一个向量吗？

不一定。可以分别向量化，但必须用同一组 document_id、page_id 和 image_id 聚合，并在最终上下文中保留来源关系。

增加 topK 能解决上下文丢失吗？

通常不能。topK 变大可能让重复描述占满预算。先检查切片字段、聚合逻辑和截断顺序，再决定是否调整召回数量。

总结

图片上下文丢失要按链路排查：先确认 OCR 是否入块，再确认图注和图片是否保持同页关系，接着检查最终上下文有没有被预算截断，最后用引用回链反向验收。只看相似度分数，往往会漏掉真正的断点。