PHP IntlRuleBasedBreakIterator 怎样加载自定义分词规则

做文本清洗、检索预处理或日志切片时，内置的按字符、单词或句子迭代器不一定符合业务边界。PHP 的 IntlRuleBasedBreakIterator 可以直接接收 ICU Rule-Based Break Iterator 规则：把规则写成字符串，用构造器加载，再给迭代器设置文本。它适合定义“哪些字符应保持在一起”“在哪个位置产生边界”，但不是中文词典分词器。

官方地址：https://www.php.net/manual/en/class.intlrulebasedbreakiterator.php

先把“自定义规则”限定在边界识别

ICU 规则描述的是边界匹配，不是 PHP 正则表达式的替换脚本。下面这组规则把连续的字母、数字和下划线看成一个 token，把空格看成独立边界，其余字符交给兜底规则；{200} 和 {0} 是规则状态值，不是重复次数。

setText($text);

    foreach ($iterator->getPartsIterator() as $part) {
        echo $part, PHP_EOL;
    }
} catch (IntlException $e) {
    // 规则语法或 intl 初始化失败时，保留原始异常便于定位。
    fwrite(STDERR, $e->getMessage() . PHP_EOL);
}

这里的 !!quoted_literals_only 可以减少把拼写错误误当作裸字面量的风险；变量定义只负责复用表达式，真正形成边界的仍是后面的规则。规则名称、空格处理和兜底匹配都应按业务文本调整，不要直接把示例当作中文切词配置。

加载后怎样读取边界和规则状态

创建成功只代表规则能够被 ICU 解析。真正处理文本时，必须先设置文本，再移动迭代器。每次 next() 返回一个新边界后，才能读取对应的状态值：

setText($text);
$start = $iterator->first();

while (($end = $iterator->next()) !== IntlBreakIterator::DONE) {
    // current()/next() 返回的是 ICU 的边界位置；状态值对应刚确定的边界。
    $status = $iterator->getRuleStatus();
    printf("boundary=%d..%d status=%d\n", $start, $end, $status);
    $start = $end;
}

如果多个规则同时决定同一个边界，getRuleStatus() 返回数值最大的状态；需要完整集合时再调用 getRuleStatusVec()。业务代码可以约定大于 100 表示 token、0 表示普通分隔，但这只是本文规则的约定，并非 PHP 的固定分类表。

compiled 参数、复用和中文文本的边界

构造器的第二个参数 compiled 只有在传入 ICU 编译后的二进制规则时才应设为 true。日常开发优先保存源规则，便于审查和回滚；若把 getBinaryRules() 的结果做缓存，则要把 PHP、intl 和 ICU 运行环境的兼容性作为部署条件，不能把二进制内容当成跨环境的通用配置。

同一个迭代器是有状态对象，不要让多个并发请求共享同一个实例。更稳妥的方式是每个请求或线程各自创建实例，或者在明确的串行边界内重复调用 setText()。规则解析失败、文本未按预期切分时，优先检查 UnicodeSet、兜底规则、状态值和 ICU 版本，再决定是否调整规则。

对于中文、日文等没有空格的自然语言，规则只能表达字符范围与边界模式；它不会自动理解词义。需要词典或语言模型能力时，应选用面向该语言的分词组件，把 IntlRuleBasedBreakIterator 留给稳定、可解释的边界规则。

相关问题

规则字符串为什么要写 !!forward？

它明确当前规则用于向前迭代。新规则只保留正向规则更容易维护，也避免把旧式反向规则语法混进配置。

compiled=true 能否直接传普通规则文本？

不能。普通可读规则应使用默认的 false；true 预期的是编译后的二进制规则。

怎样确认某个边界由哪条规则命中？

在 next() 或其他返回边界的位置函数成功后读取 getRuleStatus()，需要多个同时命中的状态时读取 getRuleStatusVec()。

实际采用前，先用代表性文本覆盖字母、数字、空格、标点和多字节字符，再把规则源文件纳入版本控制；这样比只看一条示例输出更容易发现边界遗漏。