ONNX 形状推断怎样保留符号维度

ONNX 的动态输入并不等于把形状全部留空。想让形状推断继续沿着图传播，应在张量维度中使用符号名，例如 batch、seq，这些名称会写入 dim_param。调用 onnx.shape_inference.infer_shapes() 后，支持形状推断的算子会把这些符号维度带到 value_info；如果图中存在动态 Reshape 或变量间算术表达式，结果仍可能是未知的。

官方文档：https://onnx.ai/onnx/repo-docs/ShapeInference.html

先区分 dim_value、dim_param 和未知维度

ONNX 的一个维度可以是固定整数 dim_value，也可以是带名字的未知量 dim_param，还可以两个字段都没有。符号名的价值是表达“这个维度现在不知道，但图中同名维度代表同一个未知量”。例如 [batch, seq, 768] 表示批大小和序列长度可变，最后一维固定为 768。

不要把符号名当成运行时值。seq 不是数字，也不会在模型文件里自动变成某一次推理的实际长度；它只是形状推断阶段可以继续引用的标识。

用符号名构造输入并调用 infer_shapes

构造或修改模型时，把动态维度写成稳定的字符串，再让 ONNX 的形状推断处理图。下面的示例只展示接口关系，代码不会替你执行模型推理。

import onnx
from onnx import TensorProto, helper, shape_inference

# 用字符串维度写入 dim_param，用整数维度写入固定的 dim_value。
input_info = helper.make_tensor_value_info(
    "input_ids", TensorProto.FLOAT, ["batch", "seq", 768]
)

# 这里的节点只表达静态图关系，输出会沿用输入的符号维度。
node = helper.make_node("Identity", ["input_ids"], ["hidden"])
graph = helper.make_graph([node], "symbolic-shape-demo", [input_info], [])
model = helper.make_model(graph, producer_name="shape-guide")

# infer_shapes 返回带有推断信息的 ModelProto，不是一次运行时推理。
inferred = shape_inference.infer_shapes(model)
for value in inferred.graph.value_info:
    # 打印 value_info，观察隐藏张量的符号维度是否被传播。
    print(value.name, value.type.tensor_type.shape)

这里的关键不是把所有维度都改成字符串，而是给真正可变、且后续节点需要引用的维度使用稳定名称。固定维度继续保留整数，便于后续算子完成更精确的推断。

为什么推断后仍然看不到完整形状

形状推断是静态图分析，不是对任意 Python 表达式求值。官方文档明确说明，动态提供形状的 Reshape 可能阻断推断；对包含变量的算术表达式，当前实现也不会把结果写成完整的表达式。例如一个长度为 5 的轴和一个符号轴 N 拼接，结果可能会保留为另一个未知符号，而不是自动写成 N+5。

排查时可以按下面的顺序看：输入张量是否真的写入了 dim_param；相关算子是否有形状推断实现；中间节点的输入形状是否已进入 value_info；是否在动态 Reshape、控制流或不支持的自定义算子处断开。不要因为某个输出仍是未知，就把符号维度改成一个猜测的固定数字。

大模型使用 infer_shapes_path

如果模型超过 2GB，官方 Python API 提供 infer_shapes_path()，直接按路径处理模型，并要求外部数据文件位于相应目录。普通模型可以使用内存中的 infer_shapes()；大模型则应保留模型文件与外部数据的相对位置。

import onnx

# 大模型按路径处理，避免把超过 2GB 的 ModelProto 整体载入内存。
source_path = "models/dynamic-input.onnx"
target_path = "models/dynamic-input-inferred.onnx"

# output_path 单独保存推断结果，原模型和外部数据目录保持可解析关系。
onnx.shape_inference.infer_shapes_path(source_path, target_path)

这一步只补充静态形状信息，不会把模型变成固定输入模型，也不会替代运行时对输入尺寸的检查。

相关问题

符号维度能不能写成 -1？如果需要让 ONNX 图保留可读、可传播的命名关系，优先使用明确的 dim_param 名称；不要把所有动态轴都用没有语义的占位值代替。

infer_shapes 为什么没有修改原对象的 value_info？Python 接口返回带推断信息的 ModelProto，应使用返回值继续查看或保存。

符号维度是否等于真实输入长度？不是。它表示静态分析阶段的未知维度；真实长度仍由部署端传入的张量决定。

总结：先用字符串维度写入 dim_param，再调用 infer_shapes() 或大模型专用的 infer_shapes_path()，最后查看 value_info。对动态 Reshape、未实现推断的算子和变量算术表达式，要把“推断不到”视为能力边界，而不是用固定数字掩盖模型真实的动态输入。