Java StringTokenizer 怎样把分隔符也作为 token 返回

在处理一段轻量配置或表达式时，很多人会发现普通分词只留下文字，却把逗号、等号、竖线这类符号丢掉了。如果后续还要根据符号判断格式，就不能只拿到内容 token。

Java 的 StringTokenizer 可以通过三参数构造器解决这个问题：把第三个参数 returnDelims 设为 true，分隔符会以独立 token 返回；设为 false 时，分隔符只负责切分，不会出现在结果里。

官方文档：https://docs.oracle.com/en/java/javase/26/docs/api/java.base/java/util/StringTokenizer.html

先看懂 returnDelims 到底改变了什么

StringTokenizer 把 delim 参数中的每一个字符都视为分隔符。第三个参数并不是“是否保留整段分隔字符串”，而是决定这些分隔符字符是否也参与 token 输出：

• false：分隔符被跳过，只返回连续的非分隔符字符。
• true：每个分隔符字符本身也是一个 token，非分隔符字符仍按连续片段组成 token。

例如输入 name=alice|role=admin，分隔符设置为 =| 时，保留分隔符后的逻辑序列是 name、=、alice、|、role、=、admin。这正适合需要继续识别键值边界的轻量解析。

用三参数构造器保留分隔符

关键写法是 new StringTokenizer(text, delimiters, true)。遍历时先调用 hasMoreTokens()，确认还有内容后再调用 nextToken()，这样不会在取尽 token 后误触发异常。

import java.util.ArrayList;
import java.util.List;
import java.util.StringTokenizer;

public class KeepDelimiters {
    public static void main(String[] args) {
        String text = "name=alice|role=admin";
        // delim 中的每个字符都是独立分隔符，这里要保留等号和竖线。
        StringTokenizer tokenizer = new StringTokenizer(text, "=|", true);
        List tokens = new ArrayList();

        // 先判断是否还有 token，再读取，避免读空后抛出 NoSuchElementException。
        while (tokenizer.hasMoreTokens()) {
            tokens.add(tokenizer.nextToken());
        }

        // 结果按原始顺序保留内容与符号的边界。
        System.out.println(tokens);
    }
}

按 API 对 returnDelims=true 的定义，这段示例得到的序列应为：

[name, =, alice, |, role, =, admin]

这里的重点不是把列表直接打印出来，而是保留了原字符串中“内容—符号—内容”的相邻关系。后续代码可以根据 = 识别赋值边界，根据 | 识别记录边界。

连续分隔符不会合并成一个 token

使用 true 后，分隔符是单独返回的字符 token。连续出现的分隔符会分别返回，而不会自动合并。例如输入 a,,b，分隔符为逗号，概念上的 token 序列是 a、,、,、b。

这和许多“按字段切分”的直觉不同：StringTokenizer 不会把连续分隔符变成一个空字段，也不会把两个逗号包装成 ,,。如果业务需要识别空字段，应在消费 token 时记录相邻分隔符，或者直接选择能明确表达空字段规则的解析方式。

还要注意 delim 是字符集合，不是一个完整字符串。例如传入 "->"，含义是 - 和 > 都是分隔符，不是把 -> 当作一个双字符分隔符。需要匹配多字符分隔符时，StringTokenizer 就不是合适的工具。

Unicode 分隔符和遍历边界怎么处理

Oracle 的 API 文档特别说明：当 returnDelims 为 true 时，分隔符会以一个 Unicode code point 的字符串返回；某些 code point 可能占用两个 char。因此，不能把“一个 token”简单等同为“一个 UTF-16 char”。

遍历边界也要分清：

• 构造器的 str 为 null 时会抛出 NullPointerException。
• hasMoreTokens() 返回 false 后，继续调用无参 nextToken() 会抛出 NoSuchElementException。
• countTokens() 计算剩余 token 数量，但不会推进当前读取位置。

如果输入来自可选配置，建议在创建 tokenizer 前先明确空值策略；如果输入可能为空字符串，则可以正常创建对象，只是遍历时不会得到 token。

什么时候该换成 split 或正则表达式

StringTokenizer 是保留兼容性的旧接口。Java SE 26 的官方文档仍保留它，但同时建议新代码优先考虑 String.split 或 java.util.regex。因此，是否使用它应该看任务边界：

换句话说，returnDelims=true 能解决“符号不能丢”的小问题，但它不会让 StringTokenizer 变成完整的词法分析器。分隔符集合、连续符号、Unicode code point 和空字段语义都应在设计时写清楚。

几个容易混淆的问题

returnDelims=true 会返回空字符串吗？

它返回的是分隔符字符 token，不是由两个分隔符之间的间隔自动生成的空字符串。连续分隔符需要由调用方根据相邻 token 自己解释。

能不能把 "::" 当作一个分隔符？

不能。StringTokenizer 会把 delim 中的每个字符分别看待，因此两个冒号会分别参与切分。

为什么要用 hasMoreTokens() 包住 nextToken()？

因为 nextToken() 在没有剩余 token 时会抛出 NoSuchElementException。循环条件既表达了读取意图，也把异常边界放在了调用前。

小结

要让 Java StringTokenizer 返回分隔符，使用三参数构造器并将第三个参数设为 true：

// 第三个参数为 true，分隔符会以独立 token 返回。
StringTokenizer tokenizer = new StringTokenizer(text, "=|", true);

记住四点即可：分隔符集合按单字符解释；连续分隔符逐个出现；Unicode 分隔符按 code point 处理；新项目若需要复杂模式或明确空字段，优先评估 split、正则或专用解析器。