Go bufio.Scanner Split 自定义分词时为什么会漏掉最后一个 token

自定义 bufio.Scanner 的 SplitFunc 时，最后一个字段没有分隔符却消失，通常不是 Scanner 丢了数据，而是分词函数只处理了“找到分隔符”的路径。正确规则是：atEOF=true 只表示 Reader 没有更多数据，data 仍可能包含尚未处理的尾部内容；此时应把非空 data 作为最后一个 token 返回。

官方 API 地址：https://pkg.go.dev/bufio。其中 SplitFunc 的输入是剩余未处理字节和 atEOF 标记，两个值必须一起判断。

为什么最后一个 token 会被吞掉

假设输入是 alpha,beta，分隔符为逗号。第一次调用能找到逗号并返回 alpha；第二次调用看到的是 beta。由于输入已经读完，这次 atEOF 为真，但 data 并不是空切片。如果代码只写“找不到逗号就返回空”，beta 就没有出口。

三个返回动作可以这样记：有完整 token 就前进并返回；数据不完整且还没 EOF 就请求更多数据；EOF 时仍有尾数据就收尾。atEOF 不是“本次没有 data”，而是“Reader 不会再提供新的 data”。

用 EOF 分支补上最后一个 token

下面的分词函数把逗号本身消费掉，不保留为 token；如果没有逗号，则区分“继续读”和“EOF 收尾”：

package main

import (
    "bufio"
    "bytes"
    "fmt"
    "strings"
)

// splitComma 返回逗号之间的字段，并保留末尾没有逗号的字段。
func splitComma(data []byte, atEOF bool) (advance int, token []byte, err error) {
    if i := bytes.IndexByte(data, ','); i >= 0 {
        // advance 要跨过逗号，token 只包含逗号前的字段。
        return i + 1, data[:i], nil
    }
    if atEOF && len(data) > 0 {
        // EOF 仍有未处理数据：把它作为最后一个 token 交给调用方。
        return len(data), data, nil
    }
    // 没有完整字段时请求 Scanner 继续填充缓冲区。
    return 0, nil, nil
}

func main() {
    scanner := bufio.NewScanner(strings.NewReader("alpha,beta"))
    scanner.Split(splitComma)
    for scanner.Scan() {
        // Text 返回当前 token；这里演示实际消费边界。
        fmt.Printf("[%s]\n", scanner.Text())
    }
    if err := scanner.Err(); err != nil {
        // 读取错误要和正常 EOF 分开处理。
        panic(err)
    }
}

输出会包含 alpha 和 beta。注意 advance 表示从输入缓冲区消费多少字节；返回 len(data) 后，Scanner 才知道尾部已经处理完。若只是返回 token 却不前进，分词函数可能重复看到同一段数据。

连续分隔符和空 token 怎么处理

上面的实现会把 a,,b 分成 a、空 token、b，因为第二个逗号前的切片长度为 0，但 token 本身是非 nil 的空切片。是否保留它是业务决定：CSV 类字段通常要保留位置，简单标签列表可能希望过滤空字段。

如果协议明确要求在最后生成一个空字段，或者需要在某个 token 后立即终止，可以返回 bufio.ErrFinalToken。它不是修补漏 token 的常规写法；普通输入收尾仍应优先用 atEOF 和剩余 data 表达。

上线前用四个用例检查分词边界

1. alpha,beta：确认没有尾部分隔符时仍得到两个 token。
2. alpha,beta,：确认是否需要保留末尾空字段，并让实现与业务约定一致。
3. ,, 或 a,,b：确认连续分隔符产生的空 token 是否被保留。
4. 让 Reader 返回真实错误：循环结束后检查 scanner.Err()，不要把读取错误误判成正常 EOF。

常见问题

atEOF 为 true 时 data 一定为空吗？

不一定。官方定义允许 atEOF 时仍带有未处理文本，这正是最后一个无分隔符 token 的处理入口。

为什么不能在找不到分隔符时始终返回 data？

Reader 尚未结束时，data 可能只是半个 token。此时应返回 0, nil, nil，否则会把一个完整字段拆早。

什么时候要检查 Scanner.Err？

每次扫描循环结束后都应检查。Scanner 会把正常的 io.EOF 视为结束，但其他 Reader 错误仍应由 Err 暴露给调用方。

排查这类问题时，先打印或记录 SplitFunc 收到的 len(data) 与 atEOF，再检查 EOF 分支是否消费了剩余字节。只要把“没有分隔符”和“已经没有更多输入”分开，最后一个 token 通常就不会再神秘消失。