Hugging Face Tokenizers 怎样组合多个文本正规化器

可以用 normalizers.Sequence 把多个正规化器放进同一个组合器，再把组合器赋给 Tokenizer.normalizer。关键不在于把类名堆在列表里，而在于固定处理顺序：例如先用 NFD 做 Unicode 分解，再用 Lowercase 统一大小写，最后用 StripAccents 去除组合重音。官方地址：https://huggingface.co/docs/tokenizers/api/normalizers。

下面以 Python API 为主，只讨论正规化器组合、结果观察和训练一致性，不把它扩展成完整分词器教程。

先理解 Sequence 解决的是什么问题

一个正规化器通常只做一类文本预处理，例如转小写、Unicode 规范化或去除重音。需要多项处理时，Sequence 接收一个正规化器列表，并按列表给出的顺序组合它们。顺序是配置的一部分，不应把它当作可以随意调换的装饰。

用 Sequence 组合多个正规化器

最常见的写法是从 tokenizers.normalizers 导入具体组件，再把它们交给 Sequence。下面的示例把“分解、转小写、去重音”作为一条可复用规则链。

from tokenizers import normalizers
from tokenizers.normalizers import NFD, Lowercase, StripAccents

# 按固定顺序组合文本正规化规则，顺序会影响后续组件看到的字符
normalizer = normalizers.Sequence([
    NFD(),            # 先拆分 Unicode 字符与组合标记
    Lowercase(),      # 再统一大小写，减少词形差异
    StripAccents(),   # 最后移除已经拆开的重音标记
])

# 仅查看正规化后的字符串，便于检查规则链的直观效果
sample = normalizer.normalize_str("Héllò WÖRLD")
print(sample)

NFD 与 StripAccents 的搭配有明确原因：先把字符分解，重音才以组合标记的形式暴露出来，后者才有稳定的处理对象。若只交换列表顺序，得到的规则含义就不再相同；不要只因为输出“看起来差不多”就把顺序省略。

把组合器挂到 Tokenizer 的正规化阶段

如果这条规则要成为实际编码管线的一部分，直接赋给 Tokenizer 的 normalizer 属性即可。这样，编码前的文本预处理和单独观察时使用的是同一个对象，后续再配置 pre-tokenizer、model 或 decoder。

from tokenizers import Tokenizer

# tokenizer 代表已经配置好模型的实例；这里仅替换正规化阶段
tokenizer = Tokenizer(model)
tokenizer.normalizer = normalizer

# 编码时会先应用上面的组合正规化器，再进入后续分词组件
encoding = tokenizer.encode("Héllò WÖRLD")
print(encoding.tokens)

示例中的 model 需要替换为你的实际 Tokenizers 模型对象。若模型的词表或训练语料原本使用另一套正规化规则，运行时临时替换并不等于模型已经兼容，尤其要注意词表中的形式是否仍然能被稳定映射。

分别观察字符串结果与对齐边界

normalize_str 适合快速查看字符串经过组合规则后的结果，但官方文档特别区分了它与 normalize：前者不会保留对齐信息；需要把处理后的片段映射回输入文本时，应使用带有 NormalizedString 的接口。

可以用两种视角检查规则：一是用 normalize_str 看字符变化是否符合预期；二是在需要偏移量或原文映射的场景中保留 NormalizedString，不要把打印出来的纯字符串当作完整处理对象。

from tokenizers import NormalizedString

# 纯字符串接口只回答“结果是什么”，不承担偏移映射
preview = normalizer.normalize_str("Héllò")
print(preview)

# NormalizedString 用于保留正规化过程中的文本对象与映射关系
normalized = NormalizedString("Héllò")
normalizer.normalize(normalized)
print(normalized.get())

这两个调用的用途不同：前者是快速预览，后者适合继续处理需要对齐关系的对象。不要把打印输出当成已经在你的业务数据上完成了词表兼容性验证。

上线前检查规则链是否和训练一致

当正规化器发生变化时，真正需要评估的是“训练时的文本形式”和“推理时的文本形式”是否一致。组合器本身可以复用，但如果训练词表按原始大小写构建，推理阶段突然加入 Lowercase，就可能改变输入与词表的对应关系。

• 把组件列表和顺序写进配置，避免不同服务各自拼装。
• 用代表性的大小写、重音和 Unicode 输入做人工样例对照。
• 需要原文映射时保留 NormalizedString，不要只记录 normalize_str 的结果。
• 更换规则后重新评估词表、训练数据和推理数据的兼容性。

Sequence 能不能嵌套使用？

可以组合多个正规化器；当前 Python 绑定会把嵌套的 Sequence 展开到同一条序列中。实际项目仍建议保持一层、短而明确的配置，便于审查顺序。

为什么去重音通常要放在 NFD 后面？

因为 NFD 会把某些预组合字符拆为基础字符和组合标记，StripAccents 才能稳定处理这些标记。

只调用 normalize_str 就能得到偏移量吗？

不能。它用于查看正规化后的字符串，不保留对齐信息；需要映射关系时，应继续使用 NormalizedString 对象和对应接口。

参考资料：Hugging Face Tokenizers Normalizers API 与官方 pipeline 文档。本文图片均为原创静态说明图，不是软件截图或运行证据。