Go bytes.FieldsFunc 怎样按 Unicode 规则切分文本

需要把一段可能混有空格、逗号和中文标点的 []byte 切成字段时，bytes.FieldsFunc 比手写按字节扫描更稳。它接收一个 func(rune) bool 判定函数，按 UTF-8 字符边界判断分隔符，返回非空字段组成的 [][]byte。

官方文档：https://pkg.go.dev/bytes#FieldsFunc

FieldsFunc 的核心规则是：判定函数返回 true 的 Unicode 字符形成分隔边界，开头、结尾和连续分隔符不会产生空字段；返回值是原输入上的 subslice，不是自动复制出的独立数据。

FieldsFunc 的判定函数决定切分边界

函数签名中的 f func(rune) bool 很关键。回调接收的是 Unicode code point，而不是单个字节，因此中文字符、全角符号和 ASCII 字符都可以用同一套规则判断。返回 true 的字符被视为分隔符，返回 false 的连续字符会组成一个字段。

package main

import (
	"bytes"
	"fmt"
	"unicode"
)

func main() {
	input := []byte("Go，Rust  Python")

	// 空白符和中文逗号都作为分隔符，回调只依赖当前 rune。
	isSeparator := func(r rune) bool {
		return unicode.IsSpace(r) || r == '，'
	}

	fields := bytes.FieldsFunc(input, isSeparator)
	// 返回字段仍来自 input；需要长期保存时再决定是否复制。
	fmt.Printf("%q\n", fields)
}

这个例子把普通空格和中文逗号统一处理，结果中的字段不会带上分隔符。判定函数最好是纯函数：官方文档不保证回调的调用顺序，并假设同一个字符每次都得到相同结果，所以不要在回调里依赖计数器或修改外部状态。

连续、首尾和全分隔符为什么不会产生空字符串

FieldsFunc 的结果更接近“提取字段”，而不是“保留所有分隔位置”。输入开头的分隔符被跳过，多个连续分隔符被视为一个边界，末尾分隔符也不会追加空字段。如果输入为空，或者所有字符都满足判定函数，返回的是空切片。

package main

import (
	"bytes"
	"fmt"
)

func main() {
	isComma := func(r rune) bool { return r == ',' }

	// 首尾和连续逗号都只表达边界，不会生成空字段。
	for _, text := range []string{",,alpha,,,beta,", ",,,", ""} {
		fields := bytes.FieldsFunc([]byte(text), isComma)
		fmt.Printf("%q => %q\n", text, fields)
	}
}

返回结果是原输入上的非空 subslice

源码会先记录每个字段的起止字节下标，再用这些范围构造返回值。也就是说，返回元素通常仍引用原来的底层数组；这减少了切分时的复制，但也意味着输入缓冲区的生命周期会影响字段的使用。

import (
	"bytes"
	"slices"
)

// raw 是一块可复用的输入缓冲区，fields 中的元素可能仍指向它。
fields := bytes.FieldsFunc(raw, func(r rune) bool { return r == ',' })

// 只想阻止字段继续沿底层数组向后扩展时，可以收紧每个字段的容量边界。
bounded := make([][]byte, len(fields))
	for i, field := range fields {
		bounded[i] = field[:len(field):len(field)]
	}

// 需要把字段交给会修改或异步保存的下游时，复制才是隔离方案。
independent := make([][]byte, len(fields))
	for i, field := range fields {
		independent[i] = slices.Clone(field)
	}

上面的三索引切片只改变字段视图的容量上限，仍然共享字节存储；slices.Clone 才会复制元素。若 raw 来自池化缓冲区、请求体或异步任务，不能因为切分已经完成就默认字段可以脱离 raw 独立存在。

FieldsFunc 和 Split 怎么选

如果需求是“按一个精确的字节序列切开，并保留空字段位置”，使用 bytes.Split 更合适；如果需求是“按字符性质或自定义规则提取非空字段”，使用 FieldsFunc。两者的语义差异不在函数名，而在是否需要保留分隔结构。

常见问题

FieldsFunc 能不能依赖回调调用顺序？

不能。判定函数应当只根据收到的 rune 返回稳定结果，不要用回调次数推断位置或阶段。

为什么结果里没有连续分隔符对应的空字段？

因为它的目标是提取非空字段，分隔符运行区间只代表边界。需要保留空列、空段或精确位置时，应改用 bytes.Split 或自己记录下标。

记住三点即可：先把分隔规则写成稳定的 func(rune) bool，再根据字段语义选择 FieldsFunc 或 Split，最后在输入缓冲区会复用或异步释放时显式复制字段。