Transformers怎样只解码新生成的token

如果你直接对 model.generate() 的返回值执行 tokenizer.batch_decode()，看到输入提示词也出现在结果里，通常不是模型重复生成，而是你解码了完整序列。对于 decoder-only 模型，sequences 通常由“输入 token + 新生成 token”组成；先记录输入序列长度，再从这个边界切片，就能只解码续写部分。

官方资料入口：https://huggingface.co/docs/transformers/index。本文只讨论 Transformers 的生成结果切片，不比较模型质量，也不把示例代码描述成已经在本机运行的结果。

先区分完整序列和新增序列

生成接口返回的是供后续处理的 token 序列，而不是已经替你裁剪好的文章片段。对 GPT 类 decoder-only 模型，输入 prompt 会作为生成上下文保留在序列前面，所以完整结果可以抽象为：

[输入 token 0, 输入 token 1, ..., 输入 token N, 新生成 token 0, 新生成 token 1, ...]

这里的关键不是按字符查找 prompt，而是使用传给模型的 input_ids 长度作为稳定边界。输入长度是 token 数，和中文字符数、空格数都不是一回事；特殊 token 和 padding 也可能占据序列位置。

用 input_length 切出新生成 token

最常用的写法是把输入长度保存下来，再对生成后的序列做列切片。切片完成后再调用 batch_decode，解码出来的文本就不会主动包含 prompt。下面的 model_id 需要替换成你实际使用、且与任务匹配的模型仓库或本地路径。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 用同一个 tokenizer 编码输入并加载对应的因果语言模型
model_id = "your-model-id"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

prompt = "请用一句话解释 token slicing。"
model_inputs = tokenizer(prompt, return_tensors="pt")

# decoder-only 模型的返回序列前面保留输入 token，因此先记住边界
input_length = model_inputs["input_ids"].shape[1]
with torch.no_grad():
    generated_ids = model.generate(
        **model_inputs,
        max_new_tokens=40,  # 只限制最多新增多少个 token
        do_sample=False,    # 示例使用确定性的贪心解码
    )

# 只保留输入长度之后的列，即模型本次新生成的 token
new_token_ids = generated_ids[:, input_length:]
text = tokenizer.batch_decode(
    new_token_ids,
    skip_special_tokens=True,  # 删除 EOS 等特殊标记的可见文本
)[0].strip()
print(text)

这里的 max_new_tokens 和切片解决的是两个不同问题：前者限制生成区间的最大长度，后者决定解码时从哪一列开始。只设置前者，并不会让 batch_decode(generated_ids) 自动忽略输入。

批量输入时保持切片边界一致

批量生成时，模型输入通常要先对齐成二维张量。对 decoder-only 模型，官方教程建议注意 padding side；一批输入经过 tokenizer 后，input_ids.shape[1] 表示这批张量的共同序列宽度。切片时沿用这个宽度，能够一次取出每行的生成区。

# 批量输入必须使用同一 tokenizer 和同一批张量宽度
prompts = ["解释 attention mask。", "解释 max_new_tokens。"]
batch = tokenizer(
    prompts,
    return_tensors="pt",
    padding=True,
    truncation=True,
)

# 对这批输入使用同一个列边界，不按中文字符数自行估算
input_length = batch["input_ids"].shape[1]
with torch.no_grad():
    outputs = model.generate(**batch, max_new_tokens=24)

# batch_decode 接收形状为 batch_size × new_length 的 token 张量
new_tokens = outputs[:, input_length:]
answers = tokenizer.batch_decode(new_tokens, skip_special_tokens=True)
answers = [answer.strip() for answer in answers]

如果业务必须保留每条请求的原始长度，应额外记录未 padding 前的 token 长度，并按请求逐行处理；但不能把“原始长度”与“生成结果在批张量中的统一起点”混为一谈。生成前还要按模型要求设置合适的 padding_side 与 pad_token_id，不要为了消除警告随意把普通 token 当作 padding。

处理 encoder-decoder 的不同边界

T5、BART 一类 encoder-decoder 模型的源输入先进入 encoder，返回的 decoder 序列并不等价于 decoder-only 的“源输入加续写”。因此，不能把 source input 的长度无条件拿来切 sequences。官方生成文档给出的通用示例是：decoder-only 使用输入张量长度，encoder-decoder 则从 decoder 端的起始位置计算边界。

# 先根据模型架构决定返回序列中的解码起点
if model.config.is_encoder_decoder:
    # encoder-decoder 的 sequences 从 decoder 起始 token 区域开始
    decode_start = 1
else:
    # decoder-only 的 sequences 前面保留完整输入序列
    decode_start = model_inputs["input_ids"].shape[1]

new_token_ids = generated_ids[:, decode_start:]
texts = tokenizer.batch_decode(
    new_token_ids,
    skip_special_tokens=True,  # 让 EOS、BOS 等特殊标记不进入正文
)

这段分支表达的是切片原则，不是对每个模型配置的替代检查。某些模型或自定义生成实现可能有额外的 decoder 起始约定；遇到自定义 generate、beam search 返回对象或多模态输入时，应先确认其输出字段和序列布局。

解码后再处理空结果和文本边界

切片后得到空序列并不一定是异常：模型可能立即生成 EOS，或者新增长度被配置为零。可以把空字符串作为正常结果交给上层，再单独记录结束原因；不要用“重新拼接 prompt”来填充空结果，否则会把“没有新增内容”和“重复返回输入”混在一起。

如果使用 return_dict_in_generate=True，先从返回对象的 sequences 字段取序列，再沿用相同边界；scores、logits 等字段是按生成步返回的辅助信息，不能把它们当作可直接解码的 token ID。

为什么直接 batch_decode 会重复 prompt？

因为你传入的是完整生成序列。decoder-only 模型会保留输入上下文，先切掉输入长度再解码即可。

max_new_tokens 能不能代替切片？

不能。它只约束最多生成多少个新 token，不改变返回序列是否包含输入；切片仍由模型架构和输入长度决定。

encoder-decoder 也要按源输入长度切吗？

通常不应这样做。它的生成序列从 decoder 侧开始，应该依据模型架构和官方输出约定确定起点。

实际接入时可以把“生成序列字段、切片起点、特殊 token 策略”作为一个小函数统一封装，并为 decoder-only、encoder-decoder 和批量 padding 分别保留测试样例。这样上层只接收新增文本，不会在不同模型之间悄悄改变语义。