Go bufio.Scanner怎样提高单行扫描的最大长度怎样完成一个可复用的最小示例

如果用 bufio.Scanner 读取普通日志，默认按行扫描很方便；但遇到一行很长的 JSON、堆栈或批量字段时，可能在 Scan() 循环结束后得到 bufio.Scanner: token too long。解决办法不是修改 ScanLines，而是在第一次调用 Scan 之前用 Scanner.Buffer 提供更大的缓冲区和最大容量。

官方地址：https://pkg.go.dev/bufio

默认上限为什么会触发 token too long

Scanner 把输入交给默认的 ScanLines，每次产出一行 token。它会逐步扩大内部缓冲区，但不会无限扩大；当当前 token 不能放入允许的最大容量时，扫描会停止，后续调用 Scan 不会自动恢复。这个上限保护了简单按行读取的内存边界，却也会让超长单行直接暴露问题。

这里的“长度”应先理解为字节数。UTF-8 中文一个字符通常占多个字节，若业务按字符估算容量，设置值可能比预期更小。官方文档还提醒，实际最大 token 可能因为需要包含换行等内容而略小于给出的最大值。

在 Scan 前设置 Buffer，完成可复用的最小读取函数

容量配置必须发生在第一次调用 Scan 之前。下面的函数把最大行长度作为参数，返回收集到的文本行；它没有假设输入一定来自文件，因此也可以复用在网络响应或字符串读取器上。

package main

import (
	"bufio"
	"fmt"
	"io"
	"strings"
)

func readLines(r io.Reader, maxLineBytes int) ([]string, error) {
	if maxLineBytes  maxLineBytes {
		initial = maxLineBytes // 初始缓冲区不超过业务允许的最大值
	}
	scanner.Buffer(make([]byte, initial), maxLineBytes) // 必须在第一次 Scan 前设置上限

	var lines []string
	for scanner.Scan() {
		lines = append(lines, scanner.Text()) // Text 返回当前 token 的字符串副本
	}
	if err := scanner.Err(); err != nil {
		return nil, err // token 太大和底层读取错误都从这里返回
	}
	return lines, nil
}

func main() {
	input := strings.NewReader("短行\n" + strings.Repeat("A", 100000) + "\n")
	lines, err := readLines(input, 256*1024) // 256 KiB 是字节上限
	if err != nil {
		fmt.Println("读取失败：", err)
		return
	}
	fmt.Println("读取行数：", len(lines))
}

这个示例的关键不是把 maxLineBytes 设得越大越好，而是让它与可信的输入上限一致。初始缓冲区决定第一次分配的起点，第二个参数决定 Scanner 允许增长到哪里；两者都不能绕过内存预算。

把“改法”迁移成一张边界检查表

如果只是在固定格式日志中放宽一条已知上限，Scanner.Buffer 通常足够；如果输入长度不可预测，或需要在超长行时继续读取后续片段，bufio.Reader 的 ReadLine、ReadString 或 ReadBytes 更适合。Reader 不会替你制定无限内存策略，调用方仍要限制累计长度。

回归检查与常见误区

1. 确认 Buffer 写在第一次 Scan 之前；扫描开始后再设置不会改变当前扫描状态。
2. 用字节而不是字符估算容量，特别是中文、表情和混合编码输入。
3. 不要只判断循环是否结束；必须检查 scanner.Err()，否则会把 token 过大或底层 I/O 错误误当成正常 EOF。
4. 不要把容量调成一个没有业务依据的极大值；对外部输入先设置总量边界，再决定是否使用 Reader 分段处理。

迁移后的最小核对顺序是：先确认分隔方式，再确认最大字节容量；接着让超长行落在“允许范围内”和“超过范围”两侧，最后检查 Scanner.Err() 的处理路径。这样既能修复默认上限问题，也能避免把一次读取异常变成无界内存增长。

相关问题

Scanner.Buffer 的 max 是字符数吗？

不是，它是缓冲区容量，按字节计算；UTF-8 文本应按编码后的字节规模预留。

设置了更大的 Buffer 仍然报错怎么办？

先确认设置发生在第一次 Scan 前，并检查 max 是否包含换行等额外空间；同时确认实际使用的 Scanner 就是配置过的实例。

什么时候应该直接用 bufio.Reader？

当单行长度不可预测、需要读取分片、需要更细的错误恢复，或不希望 Scanner 在超大 token 时不可恢复地停止时，优先评估 Reader。