Go Reader 怎样保留协议行分隔符

我在处理一段按换行分帧的文本协议时，最容易误判的一件事是：读到的内容看起来正确，但重新转发后对端却说协议行少了结尾。问题通常不在 bufio.Reader “自动吃掉”了分隔符，而在于读取方法的语义不同，或者后续代码把行尾清理掉了。

需要保留协议行分隔符时，优先使用 ReadString(delim) 或 ReadBytes(delim)；它们会把分隔符包含在返回值里。ReadLine 专门返回不带行尾的逻辑行，ReadSlice 虽然也保留分隔符，但返回切片只在下一次读取前有效。

本文只讨论协议读取这一条边界：如何保留原始的 \n、\r\n 或自定义字节分隔符，不把正文空白误当成行尾。

先看现象：为什么协议行少了结尾

下面四种方法都能从 bufio.Reader 取数据，但返回值的边界不同。标题里的“保留分隔符”不是一个需要额外拼接的动作，而是要在入口选择正确的方法。

我通常先检查两处：读取调用是否是 ReadLine，以及读取后是否写了 strings.TrimSpace。后者会同时清除空格、制表符和换行，不适合要求字节级保真的协议。

用最小输入定位分隔符消失的位置

不要先拿真实网络流排查。用一段同时含有 LF、CRLF 和空格的输入，就能把“方法语义”和“后处理”分开观察：

package main

import (
    "bufio"
    "fmt"
    "strings"
)

func main() {
    // 三段输入故意包含不同的行尾，便于观察 Reader 的边界语义。
    input := "PING one\nPONG two\r\nEND  \n"
    reader := bufio.NewReader(strings.NewReader(input))

    // ReadString 返回的数据包含找到的 '\n'，CRLF 中的 '\r' 也会保留。
    first, err := reader.ReadString('\n')
    fmt.Printf("first=%q err=%v\\n", first, err)

    // 不要在这里使用 TrimSpace，否则协议行尾和正文空格都会被删掉。
    second, err := reader.ReadString('\n')
    fmt.Printf("second=%q err=%v\\n", second, err)
}

第一段的结果以 \n 结束，第二段则以 \r\n 结束。这里的 err 只表示本次是否在找到分隔符之前遇到了底层错误；完整帧通常是 nil。

用 ReadString 保留文本协议行

如果协议内容主要是 UTF-8 文本，ReadString('\n') 是最直观的选择。它会一直读取到第一个分隔符，并把分隔符放进返回的字符串；如果输入在分隔符之前结束，则返回已经读到的内容和 io.EOF。

package protocol

import (
    "bufio"
    "errors"
    "io"
)

// ReadFrame 读取一个以 delim 结尾的文本帧，并保留 delim。
func ReadFrame(reader *bufio.Reader, delim byte) (string, error) {
    frame, err := reader.ReadString(delim)
    if err == nil {
        // 找到分隔符，frame 已经是完整协议帧。
        return frame, nil
    }
    if errors.Is(err, io.EOF) && len(frame) > 0 {
        // 允许调用方决定如何处理没有尾分隔符的最后一帧。
        return frame, io.EOF
    }
    // 空输入或底层读取失败时，不伪装成完整帧。
    return frame, err
}

这里没有把 io.EOF 当成“读取失败”一概丢掉。对有些协议来说，最后一段没有换行也可以作为完整尾帧；对另一些协议来说，它必须被拒绝。把这个决定交给调用方，能避免 Reader 层偷偷改变协议规则。

需要字节级保真时用 ReadBytes

如果帧里可能有非文本字节，或者后面要直接写回连接，ReadBytes 更合适。它返回新的字节切片，并且同样包含分隔符。自定义协议不一定用换行，也可以传入 0x00、';' 等单字节分隔符。

package protocol

import (
    "bufio"
    "errors"
    "io"
)

// ReadBinaryFrame 读取以 delim 结尾的字节帧，不改变帧中的原始空白。
func ReadBinaryFrame(reader *bufio.Reader, delim byte) ([]byte, error) {
    frame, err := reader.ReadBytes(delim)
    if err == nil {
        // frame 的最后一个字节就是 delim，可直接转发。
        return frame, nil
    }
    if errors.Is(err, io.EOF) && len(frame) > 0 {
        // 无尾分隔符的尾帧仍返回给上层，由协议决定是否接受。
        return frame, io.EOF
    }
    return frame, err
}

“保留分隔符”与“校验分隔符”是两件事：读取方法负责把字节交给你，是否允许最后一帧没有结束符，应由协议层明确判断。

超长帧怎样避免 ReadSlice 陷阱

ReadSlice 返回的是 Reader 内部缓冲区的一段切片。它的优点是少一次分配，代价是切片会在下一次 I/O 后失效；如果缓冲区在找到分隔符前已填满，还会返回 bufio.ErrBufferFull。因此它适合“立刻消费”，不适合把结果保存到队列或交给异步协程。

package protocol

import (
    "bufio"
    "bytes"
    "errors"
)

// ReadSliceCopy 只在短帧场景使用 ReadSlice，并立即复制出独立数据。
func ReadSliceCopy(reader *bufio.Reader, delim byte) ([]byte, error) {
    fragment, err := reader.ReadSlice(delim)
    if err != nil {
        // ErrBufferFull 说明当前缓冲区容不下完整帧，应改用 ReadBytes。
        return nil, err
    }
    // 复制后，下一次读取不会影响返回值的内容。
    return bytes.Clone(fragment), nil
}

func IsBufferFull(err error) bool {
    // 让调用方可以把超长帧切换到可增长的读取方案。
    return errors.Is(err, bufio.ErrBufferFull)
}

如果协议允许很长的单帧，直接使用 ReadBytes 或 ReadString 更省心：它们会收集跨缓冲区的片段。只有在你明确接受固定缓冲区上限，并且能立刻消费数据时，才值得使用 ReadSlice。

保留原始 CRLF，还是只保留逻辑换行

网络文本协议经常使用 \r\n。如果你要原样转发，使用 ReadString('\n') 或 ReadBytes('\n')，不要调用 ReadLine，因为它会去掉 \r\n。如果业务只关心逻辑内容，则可以只移除明确的行尾：

package protocol

import "strings"

// WithoutLineEnding 只移除一个明确的 CRLF 或 LF，不影响正文两侧的空格。
func WithoutLineEnding(line string) string {
    if strings.HasSuffix(line, "\r\n") {
        return strings.TrimSuffix(line, "\r\n")
    }
    return strings.TrimSuffix(line, "\n")
}

这和 strings.TrimSpace 的区别很关键：前者只处理协议规定的结尾，后者会把正文首尾的空格、制表符等也当成可清理内容。

最后复查这张选择表

• 要保留分隔符并得到字符串：用 ReadString(delim)。
• 要保留分隔符并继续按字节处理：用 ReadBytes(delim)。
• 要低分配地处理短帧：可以用 ReadSlice(delim)，但要立即消费或复制，并处理 ErrBufferFull。
• 只需要不带行尾的逻辑行：用 ReadLine，不要再期待它返回原始分隔符。
• 协议允许无尾分隔符时，明确处理“非空数据 + io.EOF”，不要把它悄悄当成完整帧或悄悄丢弃。

我自己的取舍是：协议边界优先选择 ReadBytes 或 ReadString，先把原始帧保留下来，再在更高一层决定是否规范化；只有确认帧短、生命周期简单时，才把 ReadSlice 当成降低分配的局部优化。

常见追问

ReadString 会不会把分隔符重复加一遍？

不会。找到分隔符时，返回值已经包含它；不要再无条件追加 \n，否则会生成双换行。

为什么 ReadLine 读不到 CRLF？

这是它的设计语义：它返回不含行尾的逻辑行，并且会处理 \n 或 \r\n。需要原始行尾时应换用 ReadString 或 ReadBytes。

ReadSlice 返回的数据能保存多久？

只到下一次读取操作前。若要放入结构体、队列或异步任务，请复制它，或者直接使用 ReadBytes。

参考资料：https://pkg.go.dev/bufio#Reader.ReadString、https://pkg.go.dev/bufio#Reader.ReadBytes、https://pkg.go.dev/bufio#Reader.ReadSlice、https://pkg.go.dev/bufio#Reader.ReadLine。