Tokenizers pre_tokenizers.Metaspace 怎样表示分词前的空格

pre_tokenizers.Metaspace 用可见的替换字符表示分词前的空格，常用标记是 ▁（U+2581），它和下划线 _ 不同。是否给开头补标记、是否按标记切开片段，是另外两个配置问题；片段也还不是模型最终的 token ID。

官方文档地址：https://huggingface.co/docs/tokenizers/

把空格标记与真实词元分开理解

可以把 Metaspace 看作一种输入表示约定：replacement 决定普通空格用什么字符表达，prepend_scheme 管理前缀，split 管理切分。本文以官方仓库 v0.22.1 标签下的实现为具体依据，不把它冒称为所有版本的共同签名。

尤其不要把“空白”理解为任意字符都已规范化：该实现替换的是普通空格 U+0020。制表符、换行等需要另行考虑预处理约定。标记字符本身出现在原始文本中时，也不能盲目认为它一定来自空格。

显式配置三个参数，避免照搬旧写法

迁移旧示例时，先核对已安装版本的构造函数和已保存的 tokenizer 配置。不要只把 add_prefix_space 改成新名字就认定行为完全相同，也不要依据文档生成文件里看似普通下划线的默认值猜测字符；显式写 replacement="▁" 更清楚。

只有一个完整输入片段时，always 和 first 可能看起来一样；与其他预分词器组合或存在已经分开的片段时，两者才更容易表现出差别。

用小样本观察差别再迁移模型配置

下面示例用原创短语 oak lake 观察片段字符串。代码提供给读者在相应环境中使用，本文没有把它描述为实际执行记录。

from tokenizers import pre_tokenizers

text = "oak lake"
# 显式设置标记和前缀，避免依赖不同版本的默认参数。
for scheme in ("always", "never"):
    metaspace = pre_tokenizers.Metaspace(
        replacement="▁", prepend_scheme=scheme, split=True
    )
    # 这里只查看预分词片段，不把它当作完整模型编码结果。
    parts = metaspace.pre_tokenize_str(text)
    print(scheme, [piece for piece, offsets in parts])

# 禁用切分仍保留替换与前缀规则，便于单独理解 split。
unsplit = pre_tokenizers.Metaspace(
    replacement="▁", prepend_scheme="always", split=False
)
print([piece for piece, offsets in unsplit.pre_tokenize_str(text)])

按上述实现推导，always 对应片段字符串 ▁oak、▁lake；never 对应 oak、▁lake；split=False 时则保留一个含标记的片段 ▁oak▁lake。这些是便于理解参数的推导，不是终端输出截图。

完整编码还关联词表和分词模型，由它们决定后续 token ID，不能拿上述片段数量直接作为模型 token 数。恢复文本需要匹配的 Metaspace decoder 和 replacement 等约定，而不是在业务里随手删除所有标记。

准备迁移时，可先保留原 tokenizer 文件，再比较无前导空格、有前导空格、连续两个空格以及制表符样本；记录片段、完整编码和解码文本各自的变化。已有预训练模型应优先保留随模型提供的 tokenizer 设置，不能为了让显示“更整齐”而单独更换标记。

▁ 是不是中文分词规则？它是表示约定，本身不定义中文词边界。为什么配置里还见到 add_prefix_space？旧文件兼容反序列化与 Python 构造参数不是一回事，应按对应版本处理。两个连续空格会不会自动压成一个？不要把 Metaspace 当作空白压缩器；是否归一化应由明确的预处理设计决定。

参考：官方 Metaspace 实现、Python API 参数说明。