Go bytes.FieldsFunc 怎样按自定义分隔规则拆分字节串

如果一段 []byte 同时使用逗号、竖线和空白作为分隔符，直接调用 bytes.Split 往往会得到需要额外清理的空字段。更合适的做法是把“哪些 rune 算分隔符”写成函数交给 bytes.FieldsFunc：它按 UTF-8 字符判断，连续分隔符会被视为一段，返回的每个字段都非空。

官方地址：https://pkg.go.dev/bytes#FieldsFunc

核心写法是让判断函数对分隔符返回 true，对字段字符返回 false；首尾分隔符、连续分隔符不会产生空元素。若返回字段需要脱离原始缓冲区长期保存，再对字段做一次复制。

先确认 bytes.FieldsFunc 的切分语义

FieldsFunc 的签名是 func(s []byte, f func(rune) bool) [][]byte。它把输入解释为 UTF-8 编码的字符序列，在满足 f(c) 的连续字符段处切开，首尾的分隔符段会被丢弃。与 Split 不同，它不会为连续分隔符制造空字段。

因此，判断函数不是“遇到一个字节就切开”的回调，而是面向 rune 的分类规则。函数还必须对同一个 rune 稳定地返回相同结果，因为标准库不保证回调的调用顺序。

为混合分隔符编写稳定判断函数

下面的例子把逗号、竖线和任意 Unicode 空白统一视为分隔符。注意回调参数是 rune，所以不需要自己拆解多字节字符。

package main

import (
    "bytes"
    "fmt"
    "unicode"
)

func main() {
    input := []byte("go,并发 | 网络  编程")

    // 对每个 Unicode 字符给出稳定分类：返回 true 就表示它是分隔符。
    isSeparator := func(r rune) bool {
        return r == ',' || r == '|' || unicode.IsSpace(r)
    }

    fields := bytes.FieldsFunc(input, isSeparator)
    // %q 能直接显示每个字段，便于确认首尾和连续分隔符没有空元素。
    fmt.Printf("%q\n", fields)
}

这个输入会得到 ["go" "并发" "网络" "编程"]。函数把空白和符号放在同一条规则里，后续增加分隔符时只需扩展判断条件，不要在调用后再循环删除空切片。

连续分隔符、空输入和全分隔符怎么办

当输入为空，或每个字符都被判断为分隔符时，返回的是空切片；它表示“没有字段”，不是包含一个空字段。即使输入两端有很多分隔符，返回字段也不会为空。

package main

import (
    "bytes"
    "fmt"
)

func main() {
    isSeparator := func(r rune) bool {
        // 这里把逗号和空格作为分隔符，连续出现时仍只形成一个分隔区间。
        return r == ',' || r == ' '
    }

    samples := [][]byte{nil, []byte(", ,"), []byte("  go,,lang  ")}
    for _, sample := range samples {
        fields := bytes.FieldsFunc(sample, isSeparator)
        // 用 len 判断是否有字段，不用 fields[0] 猜测空结果。
        fmt.Printf("input=%q fields=%q count=%d\n", sample, fields, len(fields))
    }
}

业务代码通常只需要判断 len(fields) == 0。如果输入来自外部协议，还应先确认它确实是合法 UTF-8；FieldsFunc 的语义建立在 UTF-8 字符序列之上，不适合直接把任意二进制帧当作文本字段解析。

返回字段要长期保存时再复制

返回的字段是输入字节切片的子切片，适合在原始缓冲区仍然有效且不会被修改的范围内使用。如果原始缓冲区来自复用的读取缓存，或者字段需要跨越下一次读取保存，就应当明确复制。

package main

import (
    "bytes"
    "fmt"
)

func main() {
    input := []byte("id=42|name=go")
    fields := bytes.FieldsFunc(input, func(r rune) bool {
        // 只切开等号和竖线，保留字段内部的其他字符。
        return r == '=' || r == '|'
    })

    saved := make([][]byte, 0, len(fields))
    for _, field := range fields {
        // Clone 让保存的字段不再依赖 input 的底层数组。
        saved = append(saved, bytes.Clone(field))
    }
    fmt.Printf("%q\n", saved)
}

复制不是 FieldsFunc 的必需步骤，而是生命周期决策：临时解析可以直接使用返回值，需要跨读取周期、放入缓存或交给异步任务时，复制通常更稳妥。

与 Split 的选择边界

常见问题

FieldsFunc 会返回空字符串字段吗？

不会。满足判断函数的首尾连续字符会被丢弃，返回切片中的每个元素都非空；空输入或全是分隔符时返回空切片。

回调函数可以依赖外部可变状态吗？

不建议。标准库不保证回调调用顺序，并假设同一个 rune 的判断结果稳定；把可变状态放进判断函数可能让结果难以解释。

FieldsFunc 返回的字段能直接存起来吗？

可以存，但它们默认仍与输入底层数组共享内存。若输入缓冲区会复用、清空或被修改，应使用 bytes.Clone 保存独立副本。

归纳起来，bytes.FieldsFunc 适合“按字符规则分隔并忽略空字段”的字节文本场景：先写稳定的 rune 判断函数，再明确空结果判断，最后根据缓冲区生命周期决定是否复制。