Go bufio.Reader 怎样读取带分隔符的长记录

读取由单字节分隔符结束的长记录，优先用 bufio.Reader 的 ReadBytes：不要把内部缓冲区大小当成记录大小限制。读取循环同时处理返回的数据和错误，才能保留文件末尾没有分隔符的记录。面对外部输入，再给每条记录单独设置长度上限。

官方地址：https://pkg.go.dev/bufio

先确定记录的结束规则

下面约定竖线是记录结束符，字段里不允许出现未转义的竖线；末条记录可以没有结束符。连续两个竖线表示中间有空记录，而文件结尾一个竖线不额外制造一条空记录。这些是示例协议约定，需要先与生产端统一。

读取器、内部缓冲区、单条记录、分隔符和业务载荷是不同对象：缓冲区用于读写协调，业务上限约束一条记录能接受多少字节。

最小配方：直接使用 ReadBytes

package main

import (
    "bufio"
    "errors"
    "fmt"
    "io"
    "strings"
)

func printRecords(r io.Reader) error {
    br := bufio.NewReaderSize(r, 4096)
    for {
        record, err := br.ReadBytes('|')
        // 先处理返回的字节，保留没有结束符的最后一条记录。
        if len(record) > 0 {
            payload := record
            if payload[len(payload)-1] == '|' {
                payload = payload[:len(payload)-1]
            }
            fmt.Printf("记录长度=%d\n", len(payload))
        }
        if errors.Is(err, io.EOF) {
            return nil
        }
        if err != nil {
            // 其他读取错误不能被当作正常结束吞掉。
            return err
        }
    }
}

func main() {
    // 第一条大于缓冲区，末条不带分隔符；此处是演示输入。
    input := strings.Repeat("x", 100000) + "|tail"
    if err := printRecords(strings.NewReader(input)); err != nil {
        fmt.Println("读取失败:", err)
    }
}

这个完整示例只打印长度，没有把正文记录再次复制为字符串。示例输入的第一条载荷为100000字节，第二条为4字节；这是输入构造所决定的预期，不是本机运行报告。换成文件时，由打开文件的一方负责关闭，复用同一个读取器读到结束。

关键细节：分隔符和错误要一起处理

ReadBytes 返回的数据包含找到的分隔符；读取错误可能与非空数据一起返回。ReadSlice 则借用内部缓冲区，未遇到分隔符而缓冲区满时返回 ErrBufferFull。需要跨多次读取保存片段时，必须及时复制。ReadString 更适合直接需要字符串的场景。

上例只删除末尾的一个协议分隔符，不使用 TrimSpace，因为空格可能属于记录内容。读取过程中出现非 EOF 错误时，已经收到的部分字节不自动等于一条业务完整记录：若业务要求原子提交，先暂存，确认结束条件后再写入目标。

变体：给长记录设置字节上限

为避免无限制累积，可用 ReadSlice 分片拼接，并在每次追加前检查上限。下面的函数返回值仍保留分隔符，与最小配方的返回语义保持一致。

// 本片段与上例使用相同的 bufio、errors、fmt、io 导入。
var errRecordTooLong = errors.New("记录超过上限")

func readBounded(br *bufio.Reader, delim byte, maxBytes int) ([]byte, error) {
    if maxBytes  maxBytes-len(record) {
            return nil, errRecordTooLong
        }
        // 立即复制，因为下一次读取会使 fragment 的底层内容失效。
        record = append(record, fragment...)
        if errors.Is(err, bufio.ErrBufferFull) {
            continue
        }
        return record, err
    }
}

调用方将上例的 ReadBytes 调用换成 readBounded(br, '|', 1024*1024)，沿用“先看数据、再判断错误”的逻辑即可；遇到 errRecordTooLong 时终止本次输入处理。上限包含结束符，因此恰好达到上限但缺少结束符的记录，继续读到结束符就会超限。

这个函数把超限记录视为错误，并不负责寻找下一条记录的起点。此时当前记录可能只消费了一部分，不能简单继续调用并把后半截当成新记录。需要跳过坏记录的协议，应另写丢弃到分隔符的逻辑，并设置读取时间或总量限制。限制累计字节也不代表进程总内存恰好等于该数值，切片容量、读取缓冲及调用方保留的数据另占空间。

容易踩坑的边界与相关问题

分隔符能不能是中文或多个字节？

上述方法的参数是 byte。中文字符和多字节终止序列不能直接塞进这个参数；应设计跨片段匹配器，或使用符合协议的专门解析器。

CSV 字段里有换行，还能逐行当作记录吗？

不能把带引号字段中的换行直接当作 CSV 记录边界。这类结构交给 encoding/csv 等协议解析器处理。

设置大缓冲区就能解决所有长记录问题吗？

缓冲区与业务上限是两项配置。先选适合数据模型的读取方法，再为不可信输入设置累计长度、超时和失败策略；不要仅靠增大缓冲掩盖协议边界问题。