多模态模型图片输入太大时怎么在服务端做尺寸预算

图片上传接口最容易踩的坑，是把“文件只有几 MB”和“模型只会产生少量视觉 token”当成同一件事。真正影响推理压力的通常是图片经过 processor 后的尺寸、patch 划分和模型自己的视觉编码规则。服务端应先设像素预算，再把结果交给目标模型的 processor；JPEG 压缩只能减小传输体积，不能替代分辨率控制。

先把图片预算写成服务端边界

Hugging Face Transformers 的多模态流程会用 processor 同时处理文字和图片，图片会被转换为模型需要的 pixel values。不同模型可能使用固定尺寸，也可能按照动态分辨率生成不同数量的视觉块，所以预算的第一来源应是模型卡或 processor 配置，而不是上传文件的字节数。

以 Qwen2-VL 的处理器为例，文档提供了 min_pixels 和 max_pixels，并用 14 的 patch size 与 2 的 temporal patch size 解释 28 像素网格。这个例子说明了“像素面积影响视觉 token”，但不代表所有 VLM 都按同一公式计费。

把缩放、裁剪和压缩排成正确顺序

可以把一张图片的预算拆成三层：像素预算控制视觉计算量，长宽比控制内容是否变形，编码压缩控制网络和磁盘体积。生产接口先校验格式、宽高、像素总数和长宽比；超出 max_pixels 时按平方根比例缩放，保持主体比例；只有画面边缘明确无关时才裁剪。最后再按传输需要选择 JPEG 或 WebP 质量。

from io import BytesIO
from PIL import Image

def prepare_image(raw: bytes, max_pixels: int = 1024 * 28 * 28) -> bytes:
    # 解码后立刻检查像素面积，不能用压缩文件大小代替它。
    image = Image.open(BytesIO(raw)).convert("RGB")
    width, height = image.size
    pixels = width * height

    if pixels > max_pixels:
        # 按面积比例缩放，避免只压短边导致画面比例失真。
        scale = (max_pixels / pixels) ** 0.5
        size = (max(1, int(width * scale)), max(1, int(height * scale)))
        image = image.resize(size, Image.Resampling.LANCZOS)

    output = BytesIO()
    # 质量参数只影响传输体积；视觉分辨率预算已经在上面完成。
    image.save(output, format="JPEG", quality=88, optimize=True)
    return output.getvalue()

示例里的 1024 * 28 * 28 只是与 Qwen2-VL 文档示例相近的预算表达，接入其他模型时应改成该模型允许的范围。还要设置解码像素上限，避免恶意构造的超大图在缩放前就占满内存。

像素预算和 token 预算要分开看

图片越清晰，模型可能获得越多细节，但视觉编码的计算和显存也会上升。图片压成很小的 JPEG，并不保证 token 数同步减少；反过来，等比例缩放减少了像素面积，却可能让小字和细线消失。对 OCR、票据或图表任务，裁剪应围绕信息区域，并保留一份原图哈希用于追溯。

用可观测字段确认预算真的生效

不要只记录一次模型调用的总耗时。建议为每次图片请求写入 original_width、original_height、target_pixels、processed_width、processed_height、processor_name、image_count 和 reject_stage。如果 processor 能返回实际视觉输入形状，再记录它；不能从一张日志里的文件大小反推 token 数。

回归检查可以准备三组样本：小图、刚好达到上限的宽图、超过上限的超清图。比较处理后尺寸、模型输入张量形状和端到端耗时。若小图也被放大，检查 min_pixels；若超大图仍然产生异常输入，检查是否绕过了服务端处理器，或者多图请求把每张图片的预算相加了。

相关问题

JPEG 质量降到 50 就能降低视觉 token 吗？

不一定。JPEG 主要影响压缩体积，视觉 token 通常由处理器看到的尺寸、patch 或动态分辨率规则决定。要降 token，应先控制像素面积。

所有视觉语言模型都能直接设置 max_pixels 吗？

不能。max_pixels 是某些处理器提供的参数，固定输入尺寸的模型可能要求 size 或裁剪配置。以目标模型的 processor 文档为准。

多张图片怎样分配预算？

先给请求设总预算，再给单图设上限；按图片数量平均分配只是保守起点。含关键细节的图片可以获得更高配额，其余图片应缩小或延后处理。