Go strings.FieldsFunc 怎样按自定义规则切分文本

当一行文本同时允许空格、逗号和竖线分隔时，直接调用 strings.Split 往往要连续写几次替换或手工扫描。更直接的做法是使用 strings.FieldsFunc：给每个 Unicode 字符一个判定函数，返回 true 的字符被视为分隔符，最终得到一组非空字段。

官方地址：https://pkg.go.dev/strings#FieldsFunc

FieldsFunc 适合“分隔符由规则决定”的文本切分。它会丢弃首尾分隔符，把连续分隔符视为同一段分隔区域；如果必须保留空字段，应该改用 strings.Split。

先认清 FieldsFunc 的输入和结果

strings.FieldsFunc(s, f) 的回调签名是 func(rune) bool。遍历字符串时，回调收到的是 Unicode code point，而不是单个字节；返回 true 就表示当前字符属于分隔符。官方实现会按分隔符连续区间记录字段，因此每个结果元素都非空。

先用一个最小例子把规则写清楚：

package main

import (
	"fmt"
	"strings"
)

func main() {
	text := "Go,标准库 | 文本处理"
	// 逗号、空格和竖线都作为分隔符，其他字符保留在字段中。
	isSeparator := func(r rune) bool {
		return r == ',' || r == ' ' || r == '|'
	}

	fields := strings.FieldsFunc(text, isSeparator)
	// %q 便于观察字段边界，不会把空字段隐藏成空白。
	fmt.Printf("%q\n", fields)
}

回调只负责回答“这个字符是不是分隔符”，不负责组装字段，也不应该依赖调用次数。把规则集中在一个小函数里，后面扩展制表符、换行或业务分隔符会更容易。

用 rune 规则覆盖多种分隔符

如果文本来自用户输入，分隔符通常不止一种。可以使用 unicode.IsSpace 处理 Unicode 空白，再叠加逗号和分号等业务字符。这样中文文本中的全角空格也能和普通空格走同一套规则。

package main

import (
	"strings"
	"unicode"
)

// splitTags 把空白和常见标点统一视为分隔符，并保留非空标签。
func splitTags(text string) []string {
	return strings.FieldsFunc(text, func(r rune) bool {
		// unicode.IsSpace 面向 rune 判断，能覆盖多种 Unicode 空白。
		return unicode.IsSpace(r) || r == ',' || r == '，' || r == ';' || r == '；'
	})
}

这个写法的关键是“按字符分类”，不是把所有分隔符拼成一个字符串再交给另一个 API。回调返回稳定的布尔值即可，字段内容不会因为分隔符的具体种类不同而产生额外空项。

连续分隔符和首尾分隔符会怎样

假设输入是 "，Go;;; strings "，如果回调把中文逗号、分号和空白都判为分隔符，结果只包含 Go 和 strings。开头和结尾的分隔符被丢弃，中间的连续分隔符也只形成一个边界，不会产生空字符串。

这正是它和 strings.Split 的主要差别之一：

回调与 UTF-8 边界要留意什么

FieldsFunc 的回调以 rune 为单位，但返回的字段仍然是原字符串的切片。若后续要根据字段在原文中的位置做字节索引，必须区分“字符数量”和“字节偏移”；中文字符通常占用多个 UTF-8 字节，不能把 rune 下标直接当成字符串下标。

另外，官方文档不保证回调调用顺序，并假设同一个字符每次得到相同结果。因此不要在回调里累加状态、修改外部变量后再改变判定标准，也不要把随机值或时间作为分隔符规则。

package main

import (
	"strings"
	"unicode"
)

// fieldsFromLine 只根据当前字符决定边界，不读取会变化的外部状态。
func fieldsFromLine(line string) []string {
	return strings.FieldsFunc(line, func(r rune) bool {
		// 字段切分阶段保持纯判定，后续如需位置再单独遍历原文。
		return unicode.IsSpace(r) || r == '|'
	})
}

常见问题

FieldsFunc 能保留空字段吗？

不能。它会丢弃首尾分隔符，并把连续分隔符视为一个区间，返回的每个元素都非空。空字段有业务含义时，应考虑 strings.Split 或自定义扫描逻辑。

回调参数为什么是 rune 而不是 byte？

因为函数按 Unicode code point 判断字符，适合把 Unicode 空白或中文标点纳入规则。若业务协议明确按字节切分，则应先确认输入编码和接口约定。

FieldsFunc 和正则表达式怎么选？

只有字符级分类规则时，FieldsFunc 更直接、依赖更少；需要匹配多字符模式、捕获组或复杂上下文时，再考虑正则表达式或专用解析器。

总结来说，strings.FieldsFunc 的价值在于把“哪些字符算分隔符”交给一个稳定的 rune 判定函数。明确它会合并连续分隔符、丢弃首尾分隔符，并根据空字段需求和 strings.Split 做选择，就能把自定义文本切分写得简洁而可控。