Hugging Face Tokenizers 怎样为句对配置后处理模板

Hugging Face Tokenizers 为句对配置后处理模板，核心是给 TemplateProcessing 同时写好 single 和 pair 两种模板：单句使用 $0 或 $A，句对使用 $A、$B:1 区分两段输入，再把模板中出现的特殊词和词表 ID 放进 special_tokens。这样做的结果是，句对编码会得到稳定的特殊词位置和序列类型标识。

官方地址：https://huggingface.co/docs/tokenizers/api/post-processors

先把 single 和 pair 的模板职责分开

TemplateProcessing 是 Tokenizers 的后处理器。它不负责重新切分原文，而是在已有编码结果上按模板补充特殊词，并为句对保留两段序列的类型信息。官方文档给出的 BERT 形态可以概括为：单句是 [CLS] A [SEP]，句对是 [CLS] A [SEP] B [SEP]。

配置时建议显式写出 $A 和 $B，这样读代码时能直接看出第一段和第二段的边界：

from tokenizers import Tokenizer
from tokenizers.models import WordPiece
from tokenizers.processors import TemplateProcessing

# 这里的 ID 只是示例，实际项目应替换为当前词表中的真实 ID。
tokenizer = Tokenizer(WordPiece(unk_token="[UNK]"))
tokenizer.add_special_tokens(["[CLS]", "[SEP]"])

tokenizer.post_processor = TemplateProcessing(
    # 单句：第一段前后各放一个边界标记。
    single="[CLS] $A [SEP]",
    # 句对：第二段用 type_id=1，与第一段的默认 0 区分。
    pair="[CLS] $A [SEP] $B:1 [SEP]:1",
    # 模板中出现的特殊词必须给出词表 ID。
    special_tokens=[("[CLS]", 1), ("[SEP]", 2)],
)

上例的关键不在于把字符串拼成长文本，而是让模板占位符和特殊词注册保持同一套命名。图中的“输入形态”和“模板槽位”是静态关系说明，不是运行截图。

special_tokens 要和模板里的特殊词对上

模板里的 [CLS]、[SEP] 不是普通文本，它们会直接进入最终编码。因此 special_tokens 至少要提供模板引用的 token 及其 ID。官方参考特别提醒：这些 ID 会直接写入编码结果，Tokenizers 不会再检查它们是否真的指向预期词。

# 用当前词表查询 ID，避免手写数字与词表漂移。
cls_id = tokenizer.token_to_id("[CLS]")
sep_id = tokenizer.token_to_id("[SEP]")

if cls_id is None or sep_id is None:
    # 缺少特殊词时先停止配置，避免生成不可解释的编码。
    raise ValueError("请先把 [CLS] 和 [SEP] 加入词表")

tokenizer.post_processor = TemplateProcessing(
    single="[CLS] $A [SEP]",
    pair="[CLS] $A [SEP] $B:1 [SEP]:1",
    special_tokens=[
        # token 与 ID 必须来自同一个 tokenizer 词表。
        ("[CLS]", cls_id),
        ("[SEP]", sep_id),
    ],
)

如果词表是从已有 tokenizer 文件加载的，优先通过 token_to_id 读取 ID；如果是新建 tokenizer，则应先添加特殊词再配置处理器。模板中的特殊词标识、special_tokens 的键和词表内容不一致时，最容易出现编码结果与模型预期不符的情况。

type_id 只在需要区分两段输入时显式设置

$A 和 $B 表示输入序列，$B:1 表示第二段使用 type_id=1。不带冒号的序列默认使用 0，因此常见的 BERT 句对写法是第一段保持 0，第二段及其末尾分隔符使用 1。若下游模型根本不读取 token type ids，也可以按模型约定省略这层语义，但不要为了“看起来完整”随意改动。

还要注意长度预算。后处理发生在截断和填充链路中，官方参考把顺序描述为先按截断参数处理，再应用后处理器，最后按填充参数补齐。因此设置最大长度时，要把模板会增加的特殊词数量考虑进去；句对通常比单句多一个序列和一个分隔标记。

配置前后可以快速排查的四个问题

• 模板写了 [SEP]，但 special_tokens 没注册：先补齐 token 和 ID。
• 把 $B 写进了 single：单句没有第二段输入，应只在 pair 中使用它。
• 第二段忘记写 :1：它仍可能使用默认的 0，模型若依赖 token type ids 就无法区分两段。
• 特殊词 ID 来自另一份词表：不要凭数字猜测，使用当前 tokenizer 的 token_to_id 查询。

常见问题

single 和 pair 都必须配置吗？

如果 tokenizer 只处理单句，可以只关心 single；只要业务会传入句对，就应同时定义 pair，否则句对的边界和特殊词位置没有明确模板。

$A:1 和 $B:1 有什么区别？

字母表示引用哪一段输入，冒号后的数字表示 type_id。$A:1 会把第一段标为 1，$B:1 则是把第二段标为 1；常见句对模板通常让第一段保持默认 0、第二段使用 1。

为什么特殊词 ID 不能随便填？

因为后处理器会直接把给定 ID 写入编码结果。ID 与词表不匹配时，输出仍可能生成，但模型看到的并不是你以为的特殊词。