Transformers decode 怎样关闭空格清理以保留解码文本

在 Transformers 中，想关闭解码后的空格清理，可以显式写 tokenizer.decode(ids, clean_up_tokenization_spaces=False)。需要保留特殊 token 时再设置 skip_special_tokens=False；只给用户展示普通文本时通常选择 True。两个参数解决不同问题，关闭空格清理也不等于保证恢复编码前的原始字符串。

官方地址：https://huggingface.co/docs/transformers/

先确定要保留的是哪一种文本

假设你正在做模型回答的文本对比：同一组 token IDs 解码后，标点旁边的空格与预期不同。此时有三种需求：面向用户的可读文本、便于排查的解码文本，以及必须逐字符保存的输入原文。它们需要不同的保存策略。

下面使用普通分词器 API 说明取舍，不涉及模型推理。示例参数与实现说明以 Transformers 4.57.1 的标准分词器接口为依据；其他安装版本、模型专用 tokenizer 或上层封装，应以其公开解码接口为准，不要把一个参数当成所有后端共享的“原文模式”。

空格清理和特殊 token 删除应分开选择

clean_up_tokenization_spaces=False 用于停用 Transformers 对分词空格的额外清理。在所引用的实现中，清理针对部分英文标点与缩写周围的空格，例如句点前的空格、缩写中的分隔；它不是一个面向所有语言的排版引擎，也不是统一删除所有空白。

skip_special_tokens 则决定是否跳过分词器登记的特殊 token。把它设为 True 不表示关闭空格清理，把它设为 False 也不表示保留输入里每一个空格。任意看起来像控制标记的字符串，若没有被登记为特殊 token，也不能靠这个选项自动删掉。

省略空格清理参数或传入 None，可能采用 tokenizer 自身配置。要比较两条解码路径，显式传入布尔值比依赖环境默认值更容易说明意图。也不要仅为了某次展示修改共享 tokenizer 的全局属性，以免其他调用悄悄受到影响。

用显式参数保留解码文本

下面是给读者自行运行的最小示例。首次加载需要取得对应 tokenizer 文件；这里只加载分词器，不加载模型权重。它展示调用写法，不预设任何固定输出，也不声称每一段输入都能观察到清理差异。

from transformers import AutoTokenizer

# 只加载分词器；正式项目应使用与模型匹配的分词器文件。
tokenizer = AutoTokenizer.from_pretrained("openai-community/gpt2")
source_text = "Example : keep spaces before punctuation ."
ids = tokenizer(source_text, add_special_tokens=False)["input_ids"]

# 保留特殊 token，并明确停用 Transformers 的额外空格清理。
diagnostic_text = tokenizer.decode(
    ids,
    skip_special_tokens=False,
    clean_up_tokenization_spaces=False,
)
print(repr(diagnostic_text))

# 展示普通文本时可移除特殊 token，空格策略仍然单独设置。
display_text = tokenizer.decode(
    ids,
    skip_special_tokens=True,
    clean_up_tokenization_spaces=False,
)
print(repr(display_text))

这里使用 repr 让换行、制表符和首尾空格更容易被观察。不要在比较前加 strip()、按空白切分再拼接，或者统一替换换行，否则应用层会再次改写文本。加载失败、文件缺失或接口不支持该参数时，应保留异常并处理具体原因，不要捕获所有错误后返回空字符串。

示例没有主动添加特殊 token，因此两个结果可能相同。真正比较特殊 token 删除效果时，应使用包含已登记特殊 token 的实际 IDs，而不是凭空写一个数字当作通用结束标记。

比较同一组 IDs，才能判断差异来自哪个选项

如果目的只是确认额外清理是否造成文本差异，应固定 tokenizer、IDs 和特殊 token 策略，只切换清理开关。不要重新调用模型生成另一段 IDs 后比较两段字符串，那样无法把差异归因于解码参数。

# 接续前例，保持输入 IDs 和特殊 token 策略不变。
variants = {}
for cleanup in (False, True):
    variants[cleanup] = tokenizer.decode(
        ids,
        skip_special_tokens=False,
        clean_up_tokenization_spaces=cleanup,
    )

# 相同结果只说明这组输入没有体现差异，并不说明参数永远无效。
print("关闭清理：", repr(variants[False]))
print("开启清理：", repr(variants[True]))
print("两者相同：", variants[False] == variants[True])

# 批量解码时也显式携带同样的策略，避免单条与批量入口不一致。
batch_texts = tokenizer.batch_decode(
    [ids],
    skip_special_tokens=False,
    clean_up_tokenization_spaces=False,
)
print([repr(text) for text in batch_texts])

如果关闭清理后仍有空格差异，继续区分 tokenizer 自身的解码规则与应用层处理。部分后端 decoder 也有自己的拼接或清理配置，外层参数不会自动撤销这些行为。不要为了消除显示差异直接修改模型配套的 tokenizer 文件，这可能改变其他输入的解释。

为什么关闭清理仍不保证恢复原文

token IDs 不是原始文本的完整备份。编码过程中如果做过大小写归一化、字符规范化，或把无法表示的内容映射到未知 token，单靠解码参数无法补回已经丢失的信息。后端 decoder 如何组合子词，同样会影响得到的字符串。

做提示词审计、原始材料归档或精确文本比对时，建议分别保存 source_text、ids、tokenizer 标识及修订信息、解码参数和解码文本。这里的保存策略是工程建议：原文回答“用户提交了什么”，IDs 回答“分词器表示了什么”，解码文本回答“按照本次策略如何呈现”。不要用其中一项冒充另外两项。

按用途选择，别把保留空格当成万能修复

开启清理是不是一定更适合中文？

不能这样判断。所引用的基础清理实现主要处理若干英文排版痕迹，不应把它当作中文标点规范工具。是否需要进一步格式化，应由展示需求单独决定。

关闭清理能解决所有生成文本的缩进问题吗？

不能。模型生成的 IDs、分词器后端规则和应用层处理都可能影响缩进。先保存实际 IDs 与解码文本，区分问题发生在哪里；需要输入原文时直接使用原始字符串。

必须把两个参数一起设为 False 吗？

不必须。保留普通文本的解码空格、同时跳过特殊 token，是合理组合。只有诊断时需要查看特殊 token，才明确保留它们。

针对标题中的问题，最小改动就是在解码调用处显式加入 clean_up_tokenization_spaces=False，再按照展示或诊断需求独立选择 skip_special_tokens。如果目标是原文留存，则应使用单独的原文存储策略。

参考：Transformers 分词器 API；4.57.1 基础解码与清理实现；4.57.1 Fast tokenizer 实现；Tokenizers 组件说明。