当前位置:首页 > 文章列表 > Golang > Go问答 > Go bufio.Scanner.Err 怎样区分扫描结束与输入错误

Go bufio.Scanner.Err 怎样区分扫描结束与输入错误

来源:17golang原创 2026-11-17 12:20:22 0浏览 收藏

如果 bufio.Scanner 的循环停在 Scan() == false,不要马上把它当成读取成功或文件结束。正确做法是紧接着检查 scanner.Err():它返回首个非 io.EOF 错误;如果只是正常读到输入末尾,则返回 nil。

判断顺序可以固定成一句话:先消费完 Scan() 返回的 token,再用 Err() 判断为什么停。Err() == nil 才表示没有记录到非 EOF 错误,不表示每个输入场景都已经满足业务要求。

官方文档:https://pkg.go.dev/bufio#Scanner.Err

Scan 返回 false 不是完整结论

Scanner.Scan() 在两种主要情形下都会返回 false:没有更多 token,或者扫描过程遇到了错误。默认的 ScanLines 会把输入切成行,但 Scanner 本身并不会把“正常结束”和“异常停止”都变成不同的布尔值。

因此,循环体只负责处理成功拿到的 token,循环结束后的 Err() 才负责提供停止原因。官方实现还会把 io.EOF 转成 nil,所以调用方不必把 EOF 当作异常重新处理。

观察结果通常代表处理方式
Scan() 返回 true拿到了一个 token读取 Text() 或 Bytes(),继续循环
循环结束且 Err() == nilEOF 或无错误停止按正常结束收尾
循环结束且 Err() != nil输入或扫描过程失败记录错误并决定重试、跳过或终止
Scanner Scan 返回 false 后由 Err 区分 EOF 和底层输入错误的静态关系图
图1:Scan 与 Err 的静态关系说明图。它把扫描接口、结束信号和业务判断分开,关系表示信息归属,不是运行截图或执行时序。

用 Err 写出最小可靠判断

最小写法是让 Scan() 循环保持简单,结束后只检查一次 Err()。示例使用一个会返回固定错误的 Reader 来表达异常路径;这只是代码中的输入关系示意,不是本机运行结果。

package main

import (
    "bufio"
    "errors"
    "fmt"
    "io"
    "strings"
)

var errSourceBroken = errors.New("输入源不可用")

// brokenReader 先交付一段文本,再报告底层输入错误。
// 这样可以说明 Scan 返回 false 后为什么还要检查 Err。
type brokenReader struct {
    sent bool
}

func (r *brokenReader) Read(p []byte) (int, error) {
    if r.sent {
        // 第二次读取模拟文件或网络流在中途失败。
        return 0, errSourceBroken
    }
    r.sent = true
    return copy(p, "first line\\nsecond line\\n"), nil
}

// readLines 统一返回已读行和扫描阶段的错误。
func readLines(src io.Reader) ([]string, error) {
    scanner := bufio.NewScanner(src)
    lines := make([]string, 0, 4)
    for scanner.Scan() {
        // Text 会生成字符串,适合需要持久保存每一行的场景。
        lines = append(lines, scanner.Text())
    }
    // EOF 被 Scanner.Err 隐藏为 nil;其他错误必须交给调用方。
    if err := scanner.Err(); err != nil {
        return lines, err
    }
    return lines, nil
}

func main() {
    normal, normalErr := readLines(strings.NewReader("a\\nb\\n"))
    fmt.Println("正常输入", normal, normalErr)

    partial, partialErr := readLines(&brokenReader{})
    fmt.Println("异常输入", partial, partialErr)
}

业务层可以根据返回的行和错误决定策略:正常 EOF 返回已收集数据;输入错误则保留错误上下文,避免把半份结果误标为完整导入。这里没有把错误字符串改写成“扫描结束”,因为调用方还可能需要用 errors.Is 判断可重试的底层错误。

Err 返回什么,修复动作就不同

Scanner.Err() 返回的是首个非 EOF 错误。错误来源可能是底层 io.Reader,也可能是 token 太长或自定义 SplitFunc 返回的错误。它们都表现为 Scan() 停止,但修复方向完全不同。

  • 底层 Reader 错误:检查文件、网络连接或上游流的错误;如果业务允许,记录已处理条数和输入位置后再决定重试。
  • token 太长:默认缓冲上限有限,需要在第一次 Scan() 前用 Scanner.Buffer 设置合理上限,或者改用 bufio.Reader 获得更细的长行控制。
  • SplitFunc 错误:检查自定义分隔函数返回的错误、推进字节数和空 token 规则,不能只增加缓冲区。

可以先用 errors.Is 或 errors.As 判断错误类型,再决定日志等级。不要通过解析 err.Error() 的文字猜测原因;错误文本是给人看的,类型和包装关系才适合程序判断。

io.Reader、Scanner、ScanLines、token、io.EOF 和错误边界之间的静态关系图
图2:输入与失败边界结构图。图中把 Reader、拆分函数、token 和错误对象放在不同边界内,用于解释排查方向,不代表实际运行输出。

超长 token、空输入和预读不要混为一谈

超长 token 是 Scanner 的典型限制:默认缓冲容量不能容纳完整 token 时,扫描会以错误停止。若输入来自不可信请求体,不要无上限地放大 Buffer;应给业务允许的最大行长设上限,超过上限就返回明确的输入错误。

// scanWithLimit 只提高到业务允许的上限,不把输入长度交给默认值决定。
func scanWithLimit(src io.Reader, maxToken int) error {
    scanner := bufio.NewScanner(src)
    // 初始缓冲与最大 token 都受控,避免长输入无边界膨胀内存。
    scanner.Buffer(make([]byte, 0, 16*1024), maxToken)
    for scanner.Scan() {
        // 示例只关心扫描是否成功,真实业务在这里处理 token。
        _ = scanner.Bytes()
    }
    return scanner.Err()
}

空输入也会让循环一次都不进入,但这是正常结束时 Err() == nil 的一种情况。若业务要求“至少要有一行”,那是业务校验,不应把它伪装成 Scanner 错误:可以在循环外统计 token 数量,再单独返回“输入为空”。

另外,Scanner 可能提前从 Reader 读取一段数据,停止时底层 Reader 的当前位置不一定等于最后一个 token 的位置。只要应用需要精确控制恢复点、逐段读取超长内容或连续复用同一个 Reader,就应评估 bufio.Reader 等更合适的接口。

把排查动作固定成一个清单

  1. 确认循环体只处理 Scan() == true 时拿到的 token。
  2. 循环结束后只调用一次 Err(),先判断是否为 nil。
  3. 非 nil 时保留原始错误,并用 errors.Is 或 errors.As 做分类。
  4. 如果是长 token,检查 Buffer 的调用时机和上限;如果是底层错误,回到 Reader 或连接层排查。
  5. 记录已处理数量,但不要把部分结果标成完整结果。
  6. 需要精细恢复、长行控制或连续扫描时,重新评估是否使用 bufio.Reader。

几个容易混淆的问题

Err() 返回 nil 就一定代表所有输入都有效吗

不一定。它只表示 Scanner 没有记录非 EOF 错误。空输入、业务字段不合格或 token 内容不符合业务规则,都需要由调用方另行校验。

为什么不能在每次 Scan 返回 false 时都重试

因为 false 可能是正常 EOF,也可能是不可恢复的扫描错误。盲目重试会重复读取已消费的输入,甚至掩盖已处理的部分结果。先读取 Err,再根据 Reader 是否可重新建立来决定恢复方式。

什么时候应该改用 bufio.Reader

当你需要处理超长行、保留更细的读取边界、连续扫描同一 Reader,或希望自己控制错误恢复时,Reader 通常比 Scanner 更合适。Scanner 适合边界清楚、token 大小可控的逐行或逐词读取。

归纳起来,Scan() 负责告诉你“还有没有 token”,Err() 负责告诉你“停止时有没有非 EOF 错误”。把这两个判断分开,文件读取、网络流读取和批量导入的异常处理都会更可靠。

实现参考:https://go.dev/src/bufio/scan.go

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go textproto.TrimString 怎样处理邮件头字段两端空白Go textproto.TrimString 怎样处理邮件头字段两端空白
上一篇
Go textproto.TrimString 怎样处理邮件头字段两端空白
Go crc32.Update 怎样继续计算分段数据
下一篇
Go crc32.Update 怎样继续计算分段数据
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1071次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1071次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1235次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1178次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1022次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码