多模态模型图片输入怎么控成本：分辨率、细节级别与请求预算核对

图片问答接口突然变贵，第一反应往往是去压 JPEG 文件大小。这个方向只解决了上传流量，未必解决模型输入预算：同一张图片换了分辨率、detail 级别、数量或重试次数，计费输入就可能完全不同。更稳妥的做法是把“图片尺寸、识别目标、调用次数”一起列入请求预算，再决定哪些请求使用低细节，哪些请求才值得高细节复核。

先把“图片变小”和“模型看得少”分开

JPEG 从 4 MB 压到 400 KB，主要影响上传时间和带宽；视觉模型如何处理图片，还取决于接口对图片做的分辨率处理以及请求中的 detail 参数。OpenAI 的图像输入接口把该参数定义为 low、high 或 auto，因此工程上应该把它当成请求策略记录，而不是把它藏在 SDK 默认值里。

可以先问一个很实际的问题：这一次调用需要回答什么？“这是一张收据吗”与“第三行税额是多少”不是同一种视觉任务。前者可以用较低细节做快速分流，后者需要保留局部文字并准备复核。预算表至少保留下面几列：

用低细节做第一道分流

如果目标只是判断“是否包含发票”“是否有明显损坏”“这批图片属于哪个业务类别”，不必一上来就让模型精读所有像素。请求体可以显式写出低细节策略：

const input = [{
  role: "user",
  content: [
    { type: "input_text", text: "判断图片属于哪种单据，只返回类别和置信区间" },
    { type: "input_image", image_url: imageUrl, detail: "low" }
  ]
}];

这里的关键不是把 low 当成“便宜但永远够用”，而是把它放在决策树的第一层。分类结果不确定、用户要求读取小字，或者下一步需要定位局部区域时，再创建一次明确的精读请求。这样每一张图不会默认走最重路径。

只有证据不足时才升级到 high

升级条件应当可审计。例如分类置信度低于 0.8、检测到表格但关键字段为空、或者用户追问了一个局部金额。升级请求要带上原始任务和失败证据，避免第二次调用重新猜测：

const review = {
  detail: "high",
  reason: "low-detail 结果缺少税额字段",
  fields: ["invoice_no", "tax_amount"],
  retry_budget: 1
};

high 不是对每张图的质量保证，而是一次有理由的补偿。把升级原因写入日志，月底才能回答“高细节到底解决了哪些问题”，而不是只看到总账上涨。

请求预算要把重试和图片数量算进去

一个简单的估算式足够作为上线前检查：

预计视觉输入量 = 单图输入量 × 图片数 × (1 + 可能的升级次数 + 可能的重试次数)

这不是计费公式，而是工程预算公式。真正的用量仍以供应商返回的 usage 字段为准。尤其要留意三种放大：批量请求把四张图片塞进一次调用；网络超时后没有幂等标记，客户端重复发送；低细节结果缺字段时，服务端又把整批图片全部升级，而不是只补查失败项。

• 分类阶段：固定一张图、低细节、禁止自动重复。
• 精读阶段：只带需要复核的图片和字段，升级次数最多一次。
• 异常阶段：用请求 ID 去重，先查服务端结果再决定是否重发。

上线前的反向验证清单

不要只看平均费用。把一周的真实请求按任务分桶，分别查看低细节命中率、升级率、失败重试率和字段准确率。如果 high 的占比很高，通常不是“模型太贵”这么简单，可能是图片裁剪、提示词字段约束或首轮分类阈值有问题。

1. 日志中能看到每次请求的 detail、图片数量和请求 ID。
2. 响应中保存实际 usage，并能按业务任务聚合。
3. 升级只针对失败图片，不会无条件复制整批输入。
4. 超时恢复前先查询请求状态，客户端不会盲目重复。
5. 抽样检查 low 与 high 的准确率差异，确认省下的预算没有转成返工成本。

常见问题

把图片压缩得更小，就一定能减少视觉模型费用吗？

不一定。压缩首先减少网络传输和存储体积，模型输入仍要看接口的图像处理规则和实际 usage。应以同一任务的 usage 对比为准。

什么时候适合直接使用 auto？

当任务复杂度波动较大、暂时没有稳定的升级阈值时可以使用 auto，但仍要记录实际用量。稳定业务最好通过抽样数据把常见路径明确为 low 或 high。

超时后应该马上重发图片吗？

先用请求 ID 查询服务端是否已经完成。只有确认没有结果，或接口明确返回可安全重试，才按剩余预算发起一次重试。

为什么 low 识别不到图片里的小字？

低细节路径本来就适合粗粒度判断。小字、密集表格和局部印章应走裁剪后的精读请求，并把要读取的字段写清楚。

把节省下来的预算换成可解释的复核

多模态成本控制的落点不是永远选择最低细节，而是让每次升级都有证据、每次重试都有边界。先用低细节完成分流，再只对缺证据的图片做高细节复核，同时把图片数量、usage、请求 ID 和升级原因写进日志，费用和识别质量才会同时可控。