Go binary.ReadUvarint 读取变长整数时怎样处理 EOF

使用 binary.ReadUvarint 读取变长整数时，不能把所有 EOF 都当成同一种结果：如果第一次读字节就到流尾，返回的是 io.EOF，这通常表示输入正常结束；如果已经读到变长整数的一部分才到流尾，返回的是 io.ErrUnexpectedEOF，说明数据被截断；如果 64 位无符号整数无法容纳输入，返回的是溢出错误。流式解析时按这三个分支处理，就能同时兼顾正常结束和坏数据排查。

先确认 ReadUvarint 需要什么输入

binary.ReadUvarint 的参数类型是 io.ByteReader，核心方法只有 ReadByte() (byte, error)。bytes.Reader 和 bufio.Reader 都可以直接使用；只有 io.Reader 的数据源则应先包装，否则不能把它直接传给这个函数。

package main

import (
    "bufio"
    "encoding/binary"
    "fmt"
    "io"
    "strings"
)

func main() {
    // strings.Reader 只有 Reader 能力，用 bufio.Reader 补上 ReadByte。
    source := strings.NewReader("\x96\x01")
    reader := bufio.NewReader(source)

    value, err := binary.ReadUvarint(reader)
    if err != nil {
        // 这里的错误来自输入流或变长整数本身，不能静默忽略。
        if err == io.EOF {
            fmt.Println("输入为空")
            return
        }
        fmt.Println("读取失败:", err)
        return
    }
    fmt.Println("value:", value)
}

三类结果要按读取阶段区分

变长整数每个字节只提供 7 个有效位，最高位为 1 时表示后面还有字节。标准库实现最多读取 binary.MaxVarintLen64 个字节。第一次 ReadByte 就返回 EOF 时，没有任何值开始解析，因此函数返回 io.EOF；已经读过至少一个字节后才遇到 EOF，则改成 io.ErrUnexpectedEOF。

还要单独处理溢出：读满 10 个字节仍没有结束标志，或者第 10 个字节的有效部分大于 1，都无法表示为 uint64。此时返回值可能保留已经累积的部分，但错误优先，不能把这个数当作完整结果使用。

在流式循环里保留错误边界

如果协议是“连续的变长整数直到文件结束”，可以把 io.EOF 作为结束信号；但 io.ErrUnexpectedEOF 表示最后一个值只收到一部分，不能和正常结束合并。生产代码还应把当前记录序号或字节偏移带进日志，方便定位是哪一条输入损坏。

package main

import (
    "bytes"
    "encoding/binary"
    "errors"
    "fmt"
    "io"
)

func readAllUvarints(data []byte) ([]uint64, error) {
    reader := bytes.NewReader(data)
    values := make([]uint64, 0, 4)

    for index := 0; ; index++ {
        value, err := binary.ReadUvarint(reader)
        switch {
        case err == nil:
            // 只有成功结束一个编码值时，才把 value 放入结果。
            values = append(values, value)
        case errors.Is(err, io.EOF):
            // 没有开始读取下一个值，说明整个输入正常结束。
            return values, nil
        case errors.Is(err, io.ErrUnexpectedEOF):
            // 已经读到半个值，不能把它当作正常文件尾。
            return nil, fmt.Errorf("第 %d 个值被截断: %w", index, err)
        default:
            // 溢出或底层 Reader 的其他错误都保留原始原因。
            return nil, fmt.Errorf("第 %d 个值读取失败: %w", index, err)
        }
    }
}

func main() {
    // 0x96, 0x01 编码出一个完整值；最后没有额外字节，属于正常 EOF。
    values, err := readAllUvarints([]byte{0x96, 0x01})
    fmt.Println(values, err)
}

常见问题

为什么不能直接把 io.Reader 传给 ReadUvarint？

因为它按字节读取，需要 ReadByte。如果原始类型只有 Read，用 bufio.NewReader 适配即可。

读空输入返回 io.EOF 是错误吗？

如果协议允许“没有下一个值”作为结束，它是正常结束信号；如果协议要求至少有一个值，则应在循环外另加“是否读到过值”的业务判断。

io.ErrUnexpectedEOF 和溢出哪个更严重？

它们都表示当前值不可用，但含义不同：前者是字节不完整，后者是字节完整却超出 uint64 范围。日志和重试策略可以据此分别处理。

记忆这个判断即可：第一次读就 EOF，代表没有下一个值；读了一部分再 EOF，代表截断；读满变长编码仍无法落进 64 位，代表溢出。把这三种情况分开，ReadUvarint 的流式解析就不会误报或吞错。