Transformers attention_mask 缺失会有什么影响

在 Transformers 里，attention_mask 缺失不一定马上报错：单条输入、没有 padding 时，模型可能仍能完成一次前向计算。但只要把不同长度的文本拼成 batch，补齐 token 就需要被明确排除；否则模型可能把 padding 当成真实上下文，结果、生成长度或批处理行为都会变得不可靠。

官方地址：https://huggingface.co/docs/transformers/

判断重点不是“参数能不能省略”，而是检查三个可复现指标：input_ids.shape 是否和 attention_mask.shape 相同、每行有效位数量是否等于真实 token 数、padding 位置是否全部为 0。

先看缺失 mask 为什么有时不明显

单条文本通常没有跨样本补齐，input_ids 的每个位置都是有效 token，因此缺少 padding mask 可能看不出差别。问题出现在批量输入：较短样本要补到同一长度，补齐位置虽然占据了 token id，却不应参与注意力。

可以把影响分成两类：

• 短期无差异：单条、无 padding，或模型本身能安全推断 mask。
• 真实风险：批量 padding、左填充、编码器—解码器输入，或使用需要显式 mask 的 attention backend。

用 tokenizer 自动生成 0/1 掩码

不要手工根据 token id 猜 mask，优先让 tokenizer 和它的 padding 配置一起生成。下面的示例故意保留批量输入，并用中文注释说明每个指标的用途。

from transformers import AutoTokenizer

# 使用公开模型的 tokenizer；实际项目可替换为自己的模型目录
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
texts = ["short input", "this sentence is a little longer"]

# padding=True 只补到当前 batch 的最长样本，并返回 attention_mask
batch = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")
input_ids = batch["input_ids"]
attention_mask = batch["attention_mask"]

# 这两个形状必须一致；否则不能把 mask 与 token 位置一一对应
assert input_ids.shape == attention_mask.shape

# 每行的有效位数量，能直观看出补齐了多少位置
valid_tokens = attention_mask.sum(dim=1)
print(input_ids.shape, valid_tokens.tolist())

这里的指标不代表模型准确率：attention_mask.sum(dim=1) 只是每条样本的有效 token 数。若某行长度为 8、补齐到 12，那么 mask 应该仍是 12 列，但有效位通常是 8 个，剩余 4 位为 0。

把 mask 一起传给模型，别只传 input_ids

得到 BatchEncoding 后，可以把其中的字段一起传入模型。这样写的好处是不会漏掉与 padding 相关的输入，也能让模型根据自身实现处理 mask 的内部形态。

from transformers import AutoModel

# 模型与 tokenizer 必须使用相匹配的词表和输入约定
model = AutoModel.from_pretrained("bert-base-uncased")

# 显式传入 input_ids 和 attention_mask，避免 padding 位置参与注意力
outputs = model(
    input_ids=batch["input_ids"],
    attention_mask=batch["attention_mask"],
)

# 这里只检查输出批次维度；不要把静态说明当成性能或质量结论
assert outputs.last_hidden_state.shape[0] == input_ids.shape[0]
print(outputs.last_hidden_state.shape)

如果直接写 model(input_ids=batch["input_ids"])，是否出错取决于模型实现和输入情况；更危险的是“不报错但语义不对”。当 padding 位被当作可关注位置时，短文本的隐藏状态会混入无意义的补齐 token。

生成式模型要区分三种 mask

在 decoder-only 模型里，attention_mask 通常仍负责标出输入中的有效位置；因果注意力则限制当前位置不能看未来 token。这两件事不是同一个概念：

• padding mask：处理 batch 对齐，通常用 1 表示有效、0 表示 padding。
• causal mask：处理时间方向，限制每个位置只能看允许的历史范围。
• decoder_attention_mask：在 encoder-decoder 模型中，描述 decoder 输入侧的 mask，不能机械替代 encoder 的 attention_mask。

因此，遇到生成结果异常时，先记录输入字段名、形状、padding_side 和每行有效位数量，再判断是缺失 padding mask，还是把 decoder、causal 与 encoder mask 混用了。新式 attention backend 还可能需要特定内部形态，调用层应优先传入模型接口接受的基础 mask，不要自行复制内部扩展逻辑。

常见问题

没有 padding 时可以不传 attention_mask 吗？

有些模型和场景可以工作，但不能把一次成功调用当成通用保证。只要后续改成 batch、改变 padding 策略或切换模型，省略参数就可能改变结果。

mask 的 0 和 1 能反过来吗？

不要自行反转。Transformers 文档约定基础输入中通常用 1 表示应关注、0 表示 padding；内部 backend 的转换由模型和 attention 接口负责。

最小排查顺序是什么？

先看 attention_mask 是否存在，再比对两个张量形状，最后统计每行有效位并确认 padding 位置为 0。这样比只盯着最终生成文本更容易定位输入边界问题。

小结：缺失 attention_mask 的影响取决于输入是否包含 padding 和模型如何消费输入。单条无 padding 可能暂时无差异；批量补齐时，应让 tokenizer 生成 mask，并把它与 input_ids 一起传给模型。用形状、有效位数量和 padding 位三个指标做快速检查，就能先把输入问题与模型质量问题分开。