当前位置:首页 > 文章列表 > Golang > Go教程 > Go encoding/hex.Dumper 怎样把流式字节同时输出为十六进制和 ASCII

Go encoding/hex.Dumper 怎样把流式字节同时输出为十六进制和 ASCII

来源:17golang原创 2026-11-17 05:37:33 0浏览 收藏

排查网络帧、文件头或自定义协议时,数据往往不是一次性拿到,而是随着读取循环分段到达。此时不必先把所有字节拼成一个大切片:把目标 io.Writer 交给 hex.Dumper,连续调用它的 Write,最后显式调用 Close,就能得到类似 hexdump -C 的十六进制和 ASCII 对照输出。

官方 API 文档:https://pkg.go.dev/encoding/hex#Dumper

一句话结论:一次性已有 []byte 用 hex.Dump;数据会持续到达、需要直接写到文件或日志时用 hex.Dumper,并把 Close 当成必须处理的收尾步骤。

先判断:Dump 还是 Dumper

这两个 API 的输出格式相近,但输入模型不同。hex.Dump(data) 接收完整的字节切片并返回字符串,适合小块数据或测试断言;hex.Dumper(w) 接收一个 io.Writer,返回 io.WriteCloser,适合把读取过程中的块直接转发到文件、缓冲区或标准输出。

场景入口要记住的边界
手里已经有完整切片hex.Dump返回字符串,调用方负责后续写出
字节流分段到达hex.Dumper多个 Write 共享一份连续格式状态
长时间或大数据诊断hex.Dumper不要为了格式化先把全部数据放进内存
Go encoding/hex.Dumper 将字节流输出为十六进制和 ASCII 对照列的结构说明图
图1:结构图展示 io.Writer 字节流经过 hex.Dumper 后形成十六进制与 ASCII 对照输出;这是静态说明图,不是运行截图。

把多个字节块写入同一个 Dumper

Dumper 的关键不是把每个块单独转成文本,而是让所有块经过同一个写入器。这样一行还没有凑满时,下一次 Write 可以继续接上;输出中的偏移、十六进制列和右侧字符列也会保持连续。

package main

import (
    "encoding/hex"
    "fmt"
    "io"
    "os"
)

func dumpChunks(dst io.Writer, chunks [][]byte) error {
    // Dumper 持有输出格式状态,所有分块都要复用同一个实例。
    dumper := hex.Dumper(dst)

    for _, chunk := range chunks {
        // 空块不携带数据,跳过可以避免把“无输入”误当成一次写入。
        if len(chunk) == 0 {
            continue
        }
        if _, err := dumper.Write(chunk); err != nil {
            // Write 失败后仍尝试关闭,避免目标 Writer 遗留可刷新的尾部。
            _ = dumper.Close()
            return fmt.Errorf("写入十六进制转储失败: %w", err)
        }
    }

    // Close 负责处理最后不足一整行的数据,不能只依赖循环结束。
    if err := dumper.Close(); err != nil {
        return fmt.Errorf("关闭十六进制转储失败: %w", err)
    }
    return nil
}

func main() {
    // 这里用标准输出演示,生产代码也可以传入文件或 bytes.Buffer。
    chunks := [][]byte{[]byte("header:"), []byte{0x00, 0x01, 0xff}, []byte("\nbody")}
    if err := dumpChunks(os.Stdout, chunks); err != nil {
        fmt.Fprintln(os.Stderr, err)
    }
}

这个函数只要求目标实现 io.Writer。如果目标是文件,文件本身的 Close 仍然由调用方负责;dumper.Close() 只负责转储器自己的收尾与把格式化结果写到目标。

分段写入时,Close 是收尾动作

分段并不意味着每个块都会独立生成一行。Dumper 会把连续的 Write 看作同一份数据流,最后一块如果没有填满一行,就要等 Close 把尾部整理成完整的可读格式。

func writeFromReader(dst io.Writer, src io.Reader) error {
    // 复用固定大小缓冲区,让大输入按块流过 Dumper。
    dumper := hex.Dumper(dst)
    buf := make([]byte, 32*1024)

    for {
        n, readErr := src.Read(buf)
        if n > 0 {
            // 即使 Read 同时返回数据和错误,也先处理已经读到的字节。
            if _, err := dumper.Write(buf[:n]); err != nil {
                _ = dumper.Close()
                return fmt.Errorf("转储数据写入失败: %w", err)
            }
        }
        if readErr == io.EOF {
            // EOF 表示输入结束,后面还必须调用 Close 刷新 Dumper 尾部。
            break
        }
        if readErr != nil {
            _ = dumper.Close()
            return fmt.Errorf("读取输入失败: %w", readErr)
        }
    }

    // Close 的错误可能来自最后一次向 dst 的写出,不能丢弃。
    if err := dumper.Close(); err != nil {
        return fmt.Errorf("刷新转储尾部失败: %w", err)
    }
    return nil
}

上面的处理顺序有两个实用点:先消费 n > 0 的数据,再判断 readErr;输入读完后,最后才关闭 Dumper。如果在 Write 或读取阶段已经失败,函数会尽力关闭转储器,但不会把清理动作产生的错误覆盖掉原始错误。

Go Dumper 分段 Write 与 Close 刷新尾部字节的关系说明图
图2:操作示意图展示分段 Write、按行组织和 Close 收尾的关系,并提示 Close 也可能返回错误;这是静态说明图。

Write 和 Close 的错误分别代表什么

hex.Dumper 本身主要负责格式化,真正的写出仍然落到传入的目标 io.Writer。因此需要把错误看成两段:

  • Write 错误:中途写入目标失败,后续块通常没有继续写的意义,应保留当前错误并结束。
  • Close 错误:尾部格式化结果在最终写出时失败,或者目标 Writer 在收尾阶段返回错误;即使前面的 Write 都成功,也不能忽略它。

如果目标是网络连接或日志管道,出现写入错误时不要把已经生成的转储文本当成完整诊断证据。记录错误来源、已处理的输入范围,是否重试则交给上层协议决定。

ASCII 列能看什么,不能替代什么

右侧 ASCII 列的价值是快速发现可读片段,例如协议字段、文件标记或错误文本;不可打印字节通常会以占位字符呈现。它是面向人的观察视图,不是数据的可逆编码,也不能据此判断原始内容一定是 UTF-8。

需要恢复原始字节时,应保留原始流或单独保存二进制文件;需要解析协议时,按协议字段和编码规则解析。hex.Dumper 只解决“怎样把流式字节排成便于查看的十六进制转储”这一层问题。

最后按这张表做选择

你的输入建议结束动作
小型完整 []bytehex.Dump处理返回的字符串
Reader 循环不断产生数据一个 hex.Dumper 接收所有块循环结束后检查 Close
写文件或网络目标把目标作为 io.Writer 传入分别处理 Write 与 Close 错误
需要机器解析或还原保留原始字节,另做协议解析不要把 ASCII 列当作原文

常见追问

hex.Dumper 能不能每次 Write 一个独立的转储块?

不建议这样理解。多个 Write 共享同一条转储流,块边界不会自动变成格式边界;如果确实需要相互独立的片段,应分别创建转储器,或先明确自己的分隔格式。

只调用 Write,不调用 Close 会怎样?

完整行可能已经写出,但最后不足一行的部分没有经过正常收尾,目标输出可能不完整。把 Close 放进成功路径和错误路径的资源处理逻辑中,并检查它的返回值。

可以把 Dumper 直接传给另一个 io.Copy 吗?

可以把它当作 io.Writer 使用,前提是生命周期由调用方管理;io.Copy 返回后仍要调用 Close,并把关闭错误纳入最终结果。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go debug/elf.File.Progs 怎样读取 ELF 程序头表Go debug/elf.File.Progs 怎样读取 ELF 程序头表
上一篇
Go debug/elf.File.Progs 怎样读取 ELF 程序头表
Go os.File.ReadAt 怎样按偏移读取文件而不改变当前游标
下一篇
Go os.File.ReadAt 怎样按偏移读取文件而不改变当前游标
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1060次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1060次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1226次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1169次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1012次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码