PHP IntlBreakIterator 怎样跳过标点只提取单词

在 PHP 中，直接用空格切分文本，很容易把连续标点、中文标点和多语言单词边界处理错。IntlBreakIterator::createWordInstance() 会先按照 ICU 的单词边界拆出片段，真正需要做的是在这些片段中留下字母或汉字，跳过空白和标点。官方资料入口是 https://www.php.net/manual/en/class.intlbreakiterator.php。

不要把 getPartsIterator() 返回的每一段都当成单词。它会同时给出单词、空格和标点；先让 IntlBreakIterator 负责“在哪里切”，再用 Unicode 规则负责“哪些片段保留”，才能稳定得到单词数组。

• 症状：结果数组里出现逗号、空格或句号，中文和英文混合时尤其明显。
• 根因：边界片段不等于单词，分词器只负责切分，不替业务决定保留哪些类别。
• 修复：用 createWordInstance() 与 getPartsIterator() 拆分，再用 Unicode 字符属性过滤。
• 边界：文本偏移是 UTF-8 字节位置，适合定位原文，不要当作 PHP 字符数直接截取。

为什么结果里会出现标点和空格

一次排查中，代码已经从 IntlBreakIterator::createWordInstance() 创建了单词迭代器，但输出仍包含空格、逗号和句号。表面看像是“分词失败”，实际是把迭代器的每个片段都直接追加到了结果数组。

IntlBreakIterator 的职责是暴露文本边界。官方手册说明，遍历它得到的是连续边界位置；而 getPartsIterator() 进一步把相邻边界之间的文本片段交给调用方。比如 Go, PHP 可能被拆成 Go、,、空格和 PHP。逗号没有消失，因为它本来就是一个独立片段。

先按单词边界取得片段和偏移量

先选定 locale，再把待处理文本交给单词迭代器。使用 IntlPartsIterator::KEY_LEFT 时，遍历键表示当前片段左侧的 UTF-8 字节偏移，便于把提取出的单词和原文位置一起保存。

setText($text);
$parts = $iterator->getPartsIterator(IntlPartsIterator::KEY_LEFT);

foreach ($parts as $leftOffset => $part) {
    // 输出片段和原文左侧字节偏移，便于观察边界，不代表最终单词结果。
    printf("offset=%d part=%s%s", $leftOffset, json_encode($part, JSON_UNESCAPED_UNICODE), PHP_EOL);
}

这里的第一步故意不做过滤，目的是把问题看清楚：单词片段、空白片段和标点片段都会经过循环。setText() 负责设置当前文本，之后可以重复使用同一个迭代器处理另一段文本。

用 Unicode 字符属性留下真正的单词

如果需求是“只提取字母和汉字”，可以在分词结果上使用 Unicode 正则：\p{L} 表示字母，\p{M} 表示组合标记。这样不会把中文标点、ASCII 逗号或空格混进结果，也不会因为只写 [a-zA-Z] 而漏掉中文、重音字符等内容。

setText($text);
    $parts = $iterator->getPartsIterator(IntlPartsIterator::KEY_LEFT);
    $words = [];

    foreach ($parts as $leftOffset => $part) {
        // 组合标记跟随字母，u 修饰符让正则按 UTF-8 解析。
        $isWord = preg_match('/^[\p{L}\p{M}]+$/u', $part) === 1;
        if (!$isWord) {
            // 空白、标点和数字都在这里被跳过，不改写原文。
            continue;
        }

        $words[] = [
            'word' => $part,
            'byte_offset' => $leftOffset,
        ];
    }

    return $words;
}

$words = extractWords('PHP, Go 与 café 一起处理 API-响应。');
print_r($words);

这个版本把“切分”和“保留”分成两层：IntlBreakIterator 负责尊重 ICU 的边界，正则只负责业务筛选。API-响应 是否要作为一个整体，取决于你的索引需求；如果要保留连字符，可以在过滤后把相邻片段按偏移量合并，而不是直接把标点当成单词。

中文、英文和数字的边界怎么定

同一段文本里可能同时有中文、英文、重音字符、数字和连接符。\p{L} 让字母类字符进入结果，中文表意文字也属于字母类别；\p{M} 用来保留组合音标。这个策略适合做关键词提取、全文检索预处理和简单词数统计，但它不是完整的语言学分词器。

如果业务要把数字也当成 token，可以增加一个数字分支，例如允许 ^[\p{L}\p{M}\p{N}]+$；如果要识别货币、版本号或带连字符的标识符，则应先明确规则，再基于偏移量和相邻片段合并。不要为了“看起来像一个词”而直接删除所有标点，因为句点、连字符和撇号在不同数据域里可能是有意义的。

还要注意偏移量的单位。IntlBreakIterator 文档把边界位置描述为从文本起点计算的 UTF-8 code unit，也就是字节计数。它可以用来定位原文片段，但不能直接当作 mb_strlen() 的字符索引；若要按字符截取，应使用与 UTF-8 一致的函数和边界转换。

把失败处理和结果策略固定下来

正式代码至少要固定三件事：intl 扩展不可用时明确失败，空文本返回空数组，数字是否保留由参数或业务规则决定。这样可以避免把运行环境问题误认为“没有找到单词”。同时，getPartsIterator() 的键类型应按用途选择：只需要顺序时用默认的连续键，需要回填原文时用 KEY_LEFT 或 KEY_RIGHT。

常见问题

getPartsIterator() 为什么还会返回标点？

它的作用是返回相邻边界之间的文本片段，不承诺每个片段都是单词。标点和空白被独立切出后，需要由业务代码过滤。

只用 trim() 能不能提取单词？

trim() 只能去掉首尾空白，不能稳定排除逗号、句号和数字。可以把它当作快速跳过空白的辅助条件，但不要当成完整的 Unicode 单词判断。

中文文本是否应该使用正则分词？

如果只需要排除标点并保留片段，IntlBreakIterator 已经能提供边界；如果还需要词典、词性或领域术语识别，则应另选中文分词方案，本文的过滤规则不替代词法分析。

怎样把数字也保留下来？

把过滤条件扩展为允许 Unicode 数字类别，或根据业务单独保留 WORD_NUMBER 类片段。版本号、金额和日期最好分别定义规则，避免把所有数字串混成一种 token。

这次故障的关键不是换一个更复杂的分词函数，而是明确两层职责：IntlBreakIterator 找边界，业务规则选片段。只要保留 Unicode 处理、错误处理和偏移量单位这三个边界，PHP 的多语言文本提取就不必依赖脆弱的空格切分。