Go bufio.Scanner 扫描超长行怎么提高 Buffer 上限

Go 用 bufio.Scanner 按行读取日志、CSV 或文本协议时，遇到 bufio.Scanner: token too long，通常不是编码问题，而是 Scanner 的 token 缓冲上限不够。应在第一次调用 Scan 之前执行 scanner.Buffer(initial, max)，把最大值设为业务允许的行长度；默认上限是 64 * 1024 字节，而且换行符也可能占用缓冲空间。

先确认超长行撞的是哪一道边界

bufio.NewScanner 默认使用 ScanLines，并把 MaxScanTokenSize 作为最大 token 缓冲。官方定义的默认值是 64 * 1024，但实际 token 上限可能略小，因为扫描一行时还要容纳换行等额外字节。因此，单行超过几十 KiB 时出现 token too long 是预期行为。

scanner := bufio.NewScanner(r)
for scanner.Scan() {
	// Bytes 只在当前迭代内使用，若要异步保存应复制内容。
	line := append([]byte(nil), scanner.Bytes()...)
	consume(line)
}
if err := scanner.Err(); err != nil {
	// 把超长 token、底层读取错误和业务处理错误分开记录。
	return fmt.Errorf("scan input: %w", err)
}

不要只看循环是否结束。Scanner 在遇到错误时会停止扫描，真正的原因要从 Err 取出；没有错误地读到文件末尾，Err 才会返回 nil。

用 Scanner.Buffer 提高上限，但要分清两个参数

第一个参数提供初始缓冲，第二个参数限制 Scanner 扫描期间可以分配到的最大缓冲。它们不是“当前行长度”和“额外增长量”。如果已有缓冲的容量足够，Scanner 可以直接使用它；如果一行继续变长，才会在允许范围内扩容。Buffer 必须放在第一次 Scan 之前。

const maxLine = 1024 * 1024 // 业务允许的单行上限：1 MiB

scanner := bufio.NewScanner(r)
// 预留常见行长度，maxLine 负责拦截异常大的输入。
scanner.Buffer(make([]byte, 64*1024), maxLine)

for scanner.Scan() {
	// 当前循环内立即处理；跨循环保存时复制 Bytes 返回的切片。
	processLine(scanner.Bytes())
}
if err := scanner.Err(); err != nil {
	// 超过 maxLine 会在这里暴露，不能当成正常 EOF。
	return fmt.Errorf("read line with limit %d: %w", maxLine, err)
}

上限应该来自协议或业务约束：例如应用日志允许 256 KiB，导入接口允许 1 MiB，就按实际契约设置，而不是无条件改成几百 MiB。大上限会把异常输入转化为更高的单请求内存占用。

Scanner、Reader 和一次性读取怎么选

如果每一行都有明确且适中的上限，Scanner 的代码最简洁；如果输入可能出现远超预期的长行，bufio.Reader 更适合把“读取分段”和“是否遇到换行”交给业务判断；如果文件本身有可靠大小上限且需要一次性解析，io.ReadAll 才是合适候选。

reader := bufio.NewReader(r)
for {
	part, err := reader.ReadString('\n')
	// 每次都先限制累计长度，避免无界拼接超出请求预算。
	if len(part) > maxLine {
		return fmt.Errorf("line exceeds %d bytes", maxLine)
	}
	if err != nil {
		if errors.Is(err, io.EOF) && len(part) > 0 {
			consume([]byte(part))
		}
		return err
	}
	consume([]byte(part))
}

这段 Reader 示例只展示选择边界，实际分段拼接时还要累计每一段的字节数。若协议允许换行前出现任意长度内容，Reader 也不能自动消除内存风险，拒绝阈值仍要由调用方设定。

上线前检查四个细节

第一，记录实际命中的行长分布，让 max 有数据依据；第二，把超限当成可诊断的输入错误，而不是静默截断；第三，若把 Bytes 交给异步任务，先复制；第四，确认协议是否允许保留换行符，因为 ScanLines 默认会去掉行尾换行。

常见问题

Scanner.Buffer 的 max 设置成 0 可以表示不限长吗？

不应这样设计。max 是允许分配的上限，不是“关闭限制”的开关；应根据协议设置明确值。需要处理不可预估的长行时，改用 Reader 并自行维护累计上限。

为什么 max 设置为 1 MiB，刚好 1 MiB 的行仍可能失败？

Scanner 还可能需要容纳换行等额外字节，官方文档也提醒实际 token 上限可能小于 max。为边界留出余量，或把 max 设为“最大内容长度 + 分隔符余量”。

Scanner.Bytes 返回的内容可以直接保存吗？

只在当前迭代内使用通常可以；下一次 Scan 可能复用底层数组。需要跨循环、异步或长期保存时，用 append([]byte(nil), scanner.Bytes()...) 复制。