Go bufio.Scanner 读取长日志怎么解除单行长度限制

用 bufio.Scanner 按行读取日志时，遇到 bufio.Scanner: token too long，通常不是文件损坏，而是某一行超过了 Scanner 当前允许的 token 缓冲上限。处理办法是在第一次调用 Scan 之前执行 scanner.Buffer，把初始容量和最大 token 大小设到业务可接受的范围；循环结束后再检查 scanner.Err()。如果单行长度完全不可控，直接评估 bufio.Reader 会更稳妥。

最小修复是：创建 Scanner 后立即调用 scanner.Buffer(make([]byte, 64*1024), 4*1024*1024)，再进入扫描循环，并在循环后处理错误。这里的 4 MiB 不是固定答案，应替换为日志系统真实的单行上限。

为什么长日志会触发 token too long

Scanner 会从 Reader 中取数据，再由 split 函数切出 token；按行读取时默认使用 ScanLines。它不是把整个文件一次读进内存，但每个 token 仍需要放进内部缓冲区。默认最大值由 bufio.MaxScanTokenSize 控制，当前实现中是 64 KiB；实际可用长度还会受到换行等边界字节影响。

因此，一条包含堆栈、JSON、SQL 或大字段的日志可能让 Scan 返回 false。如果没有继续检查 Err，程序很容易把“提前停止”误判成“文件已经读完”。

在第一次 Scan 前扩大 Scanner 缓冲

Scanner.Buffer(buf, max) 的第一个参数提供可复用的初始缓冲，第二个参数限制单个 token 能增长到的最大字节数。设置完成后再进入循环：

package main

import (
    "bufio"
    "fmt"
    "io"
    "os"
)

func scanLog(r io.Reader) error {
    scanner := bufio.NewScanner(r)
    // 初始缓冲减少小日志的扩容；最大值要按业务单行上限设置。
    scanner.Buffer(make([]byte, 64*1024), 4*1024*1024)

    for scanner.Scan() {
        line := scanner.Text()
        // 这里替换成结构化解析或写入下游，不要长期保存全部行。
        fmt.Println(line)
    }
    // Scan 返回 false 既可能是 EOF，也可能是 token 太长或底层读取失败。
    return scanner.Err()
}

func main() {
    // 示例只展示调用边界，生产代码应处理文件打开和关闭错误。
    if err := scanLog(os.Stdin); err != nil {
        fmt.Fprintln(os.Stderr, "读取日志失败:", err)
    }
}

注意两点。第一，Buffer 在扫描开始后再调用会触发运行时错误，所以不要把它放到循环内部。第二，max 是硬上限；如果某行仍然超过 4 MiB，程序应该保留错误并让调用方决定丢弃、隔离或切换解析策略，而不是继续猜测。

最大缓冲值应该怎么定

不要把“解除限制”理解为取消限制。更可靠的做法是先按日志契约估算最大记录，再加上换行、UTF-8 多字节字符和格式化字段的余量。字节数比字符数更适合作为这个参数，因为 Scanner 的缓冲限制按字节工作。

初始缓冲不是最大限制。比如初始容量只有 64 KiB、最大值是 4 MiB，Scanner 可以在需要时扩容到上限；反过来，如果最大值小于初始缓冲容量，实际也不会超过给定的最大边界。生产环境还要把最大值与内存并发量一起估算：并发读取器越多，每个读取器允许的上限越不应该随意放大。

什么时候应该换用 bufio.Reader

Scanner 适合“每条记录有明确且可接受的上限”。当单行可能非常大、需要把一条记录拆成多个片段，或需要更细地处理底层读取错误时，可以改用 bufio.Reader 的 ReadString、ReadBytes 或 ReadLine。Reader 不会替你设定一个 token 上限，但你仍应在业务层设置长度计数，避免恶意或异常日志占满内存。

选择标准可以压缩成一句话：能定义单行上限，就用 Scanner + Buffer；不能定义上限，就用 Reader 分片读取并自行累计到换行，同时对累计字节数做保护。无论选择哪种方案，都要记录超限原因和来源，便于区分日志格式问题与读取链路故障。

延伸问答

只调用 scanner.Buffer(make([]byte, 0), max) 可以吗？

可以，但通常会让 Scanner 从更小的容量开始扩展。若大多数行都接近某个稳定大小，给一个合理的初始容量能减少扩容；它不是解除上限的关键，第二个参数才是最大 token 大小。

为什么 Scan 返回 false 不一定表示 EOF？

Scanner 在遇到 EOF、底层 Reader 错误或 token 超过最大缓冲时都会结束扫描。只有 scanner.Err() == nil 时，才可以把它当作正常结束。

把 max 写成 64*1024*1024 是否更保险？

不一定。更大的上限会增加单个读取器的内存风险，也可能掩盖上游日志格式异常。应根据真实记录上限、并发量和超限处置方案设定。

Scanner 会保留所有已经读过的日志吗？

不会。Scanner 主要复用内部缓冲，Text() 返回当前 token 的字符串。真正造成长期内存增长的，通常是调用方把每行追加到切片、缓存或队列中。