PHP IntlBreakIterator 怎样按单词边界分割多语言文本

PHP 可以用 IntlBreakIterator::createWordInstance() 建立单词边界迭代器，再用相邻边界截取 UTF-8 原文。要得到适合统计的词片段，还应过滤空白、标点等非词区间。返回的位置是字节偏移，不能直接当作 Unicode 字符序号。

官方手册地址：https://www.php.net/manual/en/class.intlbreakiterator.php

先排除把空格当作唯一词边界的问题

只用空格拆文本时，英文中的标点容易留在词里，中文等没有显式空格的内容又难以处理。单词迭代器提供基于 ICU 的边界分析，但不是语义模型，也不保证符合某个行业的术语词表。

先确认部署环境启用了 intl，输入确实是 UTF-8，再显式传入与业务相符的 locale。不要因为结果为空就立即换正则；扩展缺失、编码错误和文本本来没有词，是不同情况。

按相邻字节边界提取片段

把原文交给 setText()，从 first() 得到起点，调用 next() 遍历终点，遇到 DONE 结束。区间采用起点包含、终点不包含的方式理解，长度就是终点减起点。

substr 按字节切片，正好与这些边界匹配。不要把相同数字直接交给按字符计数的截取函数，否则中文等多字节内容会错位。若前端需要字符或 UTF-16 坐标，应单独转换坐标体系。

用规则状态过滤空白与标点

单词边界并不只围住单词。完整实现可以借助 IntlRuleBasedBreakIterator 的 getRuleStatus()，把 WORD_NONE 到 WORD_NONE_LIMIT 之前的非词片段排除。这里仍保留数字类等词片段；若业务只计字母词，还需要更明确的分类条件。

setText($text) !== true) {
        throw new RuntimeException('设置文本失败：' . $iterator->getErrorMessage());
    }

    $words = [];
    $start = $iterator->first();
    while (($end = $iterator->next()) !== IntlBreakIterator::DONE) {
        // 当前边界的状态描述刚刚跨过的片段；偏移单位为字节。
        $status = $iterator->getRuleStatus();
        $isNonWord = $status >= IntlBreakIterator::WORD_NONE
            && $status  substr($text, $start, $end - $start),
                'start_byte' => $start,
                'end_byte' => $end,
            ];
        }
        // 即使片段被过滤，也要更新起点，否则会把标点带入下一个词。
        $start = $end;
    }
    return $words;
}

// 示例供读者使用；具体中文词界取决于环境中的 ICU 规则与数据。
$segments = wordSegments('河边散步，meet Nora at 8.', 'zh_CN');
print_r($segments);

示例没有提供声称已运行的固定分词输出。阅读时重点看两处：每次 next 后读取当前规则状态；无论当前片段是否保留，都更新 start。返回的 text、start_byte 和 end_byte 共同描述原文中的位置。

检查多语言结果的适用范围

ICU 对部分语言使用词典支持，语言与数据版本会影响边界。业务可保存一组自己的代表文本，包括混合语言、数字、标点及组合字符，在升级环境前比较；这是一种采用建议，不是对本文示例的运行证明。

单词边界等于用户看到的一个字符吗？不等于，字素边界与单词边界是不同任务。能否用它直接得到搜索引擎分词？它能提供基础片段，搜索通常还需要归一化、停用词和领域词处理。空字符串应该报错吗？本例允许有效的空输入自然得到空数组，不把它与非法 UTF-8 混为一谈。

参考：PHP 边界迭代器手册、规则状态接口、ICU 边界分析说明。