图像输入的说明文字和图片内容冲突时如何设计提示

做发票字段抽取、设备读数识别或图片质检时，最容易踩的坑是：文字说“这是蓝色包装”，图片里却明显是绿色；提示没有规定如何处理，模型有时听文字，有时跟图片，结果自然不稳定。解决思路不是简单地把“请认真看图”重复几遍，而是把图片当作待核对的证据，把文字拆成任务和约束，并要求模型公开冲突字段。

实用规则是：图片只负责提供可观察事实，文字负责说明任务和输出格式；当文字对图片中的可见事实作出断言时，先标记冲突，不要静默覆盖。无法从图片确认的内容必须输出“无法确认”，而不是补全猜测。

官方文档：https://huggingface.co/docs/inference-providers/en/guides/responses-api

先判断冲突是事实矛盾还是任务要求不同

先把问题拆成三个对象：图片里的可见事实、文字里的工作目标、文字里对图片事实的额外断言。例如“读取标签上的批次号”是任务；“标签是红色”是待核对的断言；图片上能看清的批次号才是证据。前者不能和图片“冲突”，后两者才可能冲突。

建议先列出字段再提问：颜色、数量、位置、文字内容、遮挡情况。模型需要对每个字段返回 一致、冲突 或 无法确认，并给一条简短依据。这样“绿色”不会被直接改写成“蓝色”，读者也能知道问题究竟出在提示，还是出在图片清晰度。

把证据优先级写成可检查的提示规则

不要只写“以图片为准”。更稳的写法是限定范围：对颜色、数量、位置这类图片可直接观察的字段，以清晰可见区域为依据；对图片外的库存、时间、规格或业务结论，图片没有证据就不能推断；文字只定义任务、字段和格式。若图片模糊或被遮挡，状态只能是“无法确认”。

在支持视觉输入的接口中，文字与图片通常作为同一条输入里的不同内容部分传入。Hugging Face 的 Responses API 示例也采用 input_text 与 input_image 的组合。接口负责承载多模态输入，冲突优先级仍需要应用侧写进提示和输出约束。

const input = [
  {
    role: "user",
    content: [
      // 文字只定义任务、字段和冲突处理规则
      { type: "input_text", text: "读取包装颜色和数量；可见事实与文字断言冲突时返回 conflict。" },
      // 图片是需要被观察和核对的证据
      { type: "input_image", image_url: imageUrl }
    ]
  }
];

如果使用其他模型或 SDK，字段名称可能不同，但分层思想不变：不要把“任务目标”和“图片事实”写成一条无法拆解的长句。

用结构化输出把“猜测”变成可处理的状态

结构化输出的重点不是让 JSON 看起来整齐，而是给不确定性留位置。每个字段至少包含 value、status 和 evidence；其中 status 只允许 consistent、conflict、uncertain。当文字写“数量为 12”而图片只能看见 10 个，返回冲突并保留两边的描述，业务层才有机会阻止错误入库。

{
  "fields": [
    {"name": "包装颜色", "value": "绿色", "status": "conflict", "evidence": "图片可见主体为绿色，文字断言为蓝色"},
    {"name": "数量", "value": null, "status": "uncertain", "evidence": "右侧对象被遮挡，无法完整计数"}
  ],
  "needs_review": true
}

严格 JSON 不放注释，字段含义直接写在代码块旁边。实际接入时，业务代码应先判断 status，再决定更新记录、追问用户还是进入人工队列，不能只读取 value。

低清、遮挡和高风险结论要有退出路径

图像提示最怕把“没有证据”误当成“证据为零”。低分辨率、反光、裁切、遮挡和复杂背景都会让模型只能给出部分观察。提示中应明确：看不清就返回无法确认；图片外的业务字段必须追问来源；涉及合规、付款、医疗或安全的结论，不因模型给出肯定句就自动通过。

上线前可用一张小清单做反向检查：是否区分事实和任务？是否列出冲突字段？是否保留无法确认？是否让业务层处理 needs_review？是否用几张“文字故意写错”的图片做回归？最后一项尤其重要，它测试的是冲突规则有没有生效，而不是模型能否背出提示词。

常见问题

提示里写“以文字为准”可以吗？

只有当文字是外部权威记录、图片只是辅助展示时才适合。若任务是识别图片中的颜色、数量或位置，就应让可见证据优先，并保留冲突状态。

为什么模型总是顺着说明文字回答？

通常是因为文字把结论直接写死，且没有要求逐字段比对。把断言改成待核对字段，再规定三种状态，结果会更容易复查。

图片看不清时应该让模型放大猜吗？

可以要求模型说明无法确认的区域，但不要把猜测当事实。需要精确入库时，应重新拍摄、补充图片或转人工复核。