Go bufio.Scanner读取超长日志行的缓冲上限设置方式

处理按行增长的日志时，bufio.Scanner 最容易踩到的坑不是中文编码，而是单个 token 的长度超过默认缓冲。当前标准库文档中的默认最大 token 大小为 64×1024 字节，而且实际可用空间还可能需要容纳换行符。解决办法是：在第一次调用 Scan 之前调用 Buffer，把初始缓冲和业务允许的最大行长度一起设好；循环结束后必须检查 Err。

官方地址：https://pkg.go.dev/bufio

先把默认上限和业务上限分开

Scanner 默认按行切分，ScanLines 会去掉行尾的 \n，但判断是否装得下 token 时仍需要为输入边界留空间。日志中一条 JSON、堆栈或批量字段一旦超过默认值，循环可能提前停止，最后只能从 scanner.Err() 看出异常。

建议先定义业务允许的最大行长，而不是直接把上限改成一个很大的数。比如采集服务允许单行最多 4 MiB，就把这个数字写进配置或常量，并在超限时记录来源和长度。

在第一次 Scan 前设置 Buffer

下面的写法适合已经确定最大行长的日志流。初始缓冲只影响起步容量，真正决定是否接受该行的是第二个参数；如果一行超过 maxLineBytes，扫描会停止，不能在同一个 Scanner 上继续等待它变短。

package main

import (
	"bufio"
	"errors"
	"fmt"
	"io"
)

func readLogLines(r io.Reader) error {
	const (
		// 初始缓冲保持适中，避免每个连接一开始就占满上限。
		initialBuffer = 64 * 1024
		// 上限按字节计算，覆盖正文、换行和少量格式开销。
		maxLineBytes = 4 * 1024 * 1024
	)

	scanner := bufio.NewScanner(r)
	// Buffer 必须在第一次 Scan 前调用；第二个参数是硬上限。
	scanner.Buffer(make([]byte, initialBuffer), maxLineBytes)
	scanner.Split(bufio.ScanLines)

	for scanner.Scan() {
		line := scanner.Bytes()
		// 这里应尽快消费或复制 line，避免把大量行长期留在内存中。
		fmt.Println(len(line))
	}

	if err := scanner.Err(); err != nil {
		// 超长行单独记录，便于告警或转入降级读取路径。
		if errors.Is(err, bufio.ErrTooLong) {
			return fmt.Errorf("日志行超过 %d 字节: %w", maxLineBytes, err)
		}
		// 其他错误通常来自底层 Reader，应保留原始错误链。
		return fmt.Errorf("读取日志失败: %w", err)
	}
	return nil
}

需要注意，scanner.Bytes() 返回的切片只适合当前扫描迭代；如果要异步处理，应复制内容。示例中的 fmt.Println 只是占位，生产代码通常会解析、计数或投递到有界队列。

用 Err 判断是超长行还是输入故障

循环自然结束并不等于所有数据都成功处理。Scan 返回 false 后，先检查 Err 再决定是否提交本批结果。超长行说明当前 Scanner 的边界被击穿；网络断开、文件读取失败或自定义分割函数错误则是另一类故障，不能用同一条重试策略处理。

什么时候应该换成 bufio.Reader

如果日志行长度不可预测，或者业务必须保留超过数十MB的整行，继续增大 Scanner 上限会把单次内存分配和异常输入风险一起放大。官方文档也提示，需要更强错误控制或处理大 token 时应考虑 bufio.Reader。

Reader.ReadBytes('\n') 或 ReadString('\n') 能在分隔符前持续读取，并把未完整结束的数据和错误一起返回。另一种更稳妥的设计是使用 ReadSlice 分片，把片段写入受控缓冲；这样可以为超长行设置独立的总长度限制，而不是让 Scanner 的 token 缓冲无限增长。

最终选择可以按这个清单判断：

• 最大行长明确且通常小于几MB：使用 Scanner.Buffer，上限写入配置。
• 需要按行处理但行长波动很大：使用 Reader，对累计字节数单独计数。
• 超长记录可以丢弃：检测到上限后记录摘要，并明确丢弃剩余片段的策略，避免误把后续内容当成新行。

常见问题

Buffer 的 max 参数设置成 0 可以表示不限制吗？

不能把它当作“不限制”开关。应传入明确的正数上限，并让这个上限来自日志格式和内存预算。

把 Buffer 调大后还需要检查 Err 吗？

需要。调大只能改变可接受的 token 范围，文件读取错误、网络中断和分割函数错误仍然会通过 Err 暴露。

发现 ErrTooLong 后能继续调用 Scan 读取下一行吗？

不应依赖这种行为。Scanner 在 token 太大时不可恢复地停止；如果必须继续解析，应重新设计为 Reader 分片读取或丢弃当前记录后从可控边界恢复。

核心原则是先把单行长度当成输入边界来设计，再选择读取器。对边界明确的日志，Buffer 加 Err 检查足够直接；对不受控的大记录，bufio.Reader 更容易把内存、错误和降级行为分别管理。