当前位置:首页 > 文章列表 > Golang > Go问答 > Go encoding/json RawMessage 延迟解析如何避免底层字节别名:Marshal 与 Unmarshal 边界

Go encoding/json RawMessage 延迟解析如何避免底层字节别名:Marshal 与 Unmarshal 边界

来源:17golang原创 2026-08-28 07:23:42 0浏览 收藏

线上接口把同一份 JSON 的公共字段和业务字段分开处理时,json.RawMessage 很顺手:先读出 kind,再决定把 payload 解成哪种结构。真正容易踩坑的是字节所有权——反序列化会复制输入,序列化却直接返回已有字节。把这两个方向混为一谈,修改复用的切片后就可能得到难以定位的 JSON 变化。

记住一条边界:UnmarshalJSON 会把输入复制进 RawMessage,而 MarshalJSON 返回当前 RawMessage 的字节;需要长期保存或跨协程传递时,业务代码仍应把它当作不可变数据使用。

要点速览
  • RawMessage 的底层类型是 []byte,适合延迟解码和预计算 JSON。
  • UnmarshalJSON 用 append 将输入复制到接收者,输入缓冲区之后复用不会改写已保存内容。
  • MarshalJSON 对非 nil 值直接返回当前字节,调用方不要修改返回切片来“修补”原对象。
  • 跨边界传递时,用显式拷贝表达所有权;nil 与空 JSON 值也要分开测试。

先把 RawMessage 放在公共字段与业务字段之间

假设消息只有一个稳定的 kind 字段,payload 会随业务类型变化。先把 payload 留成原始 JSON,可以避免为了识别类型而先解成 map[string]any,也不会在数字、字段顺序或嵌套结构上过早丢失信息。

type Envelope struct {
    Kind    string          `json:"kind"`
    Payload json.RawMessage `json:"payload"`
}

var msg Envelope
if err := json.Unmarshal(input, &msg); err != nil {
    return err
}

switch msg.Kind {
case "user.created":
    var event UserCreated
    if err := json.Unmarshal(msg.Payload, &event); err != nil {
        return err
    }
    return handleUserCreated(event)
default:
    return fmt.Errorf("unsupported kind %q", msg.Kind)
}

这里的调用链很短:json.Unmarshal 先填充 Envelope.Payload,分支确认 Kind 后,再对同一段 Payload 做第二次定向解码。第二次解码前,原始字节仍然保留,便于记录原文或转发。

Go json.Unmarshal 将输入复制到 Envelope.Payload,再按 Kind 延迟解码的调用链示意图

UnmarshalJSON 为什么能隔离输入缓冲区

标准库里的 RawMessage.UnmarshalJSON 会执行 *m = append((*m)[0:0], data...)。这段写法会复用接收者已有容量,但会把本次输入的内容复制进去。因此,调用者之后重用 input,不会直接改写已经保存的 msg.Payload。

input := []byte(`{"kind":"user.created","payload":{"id":7}}`)
var msg Envelope
if err := json.Unmarshal(input, &msg); err != nil {
    panic(err)
}

input[0] = 'X' // 改的是输入;msg.Payload 不会因此变成另一份内容
fmt.Println(string(msg.Payload))

但“标准库做过一次复制”不等于业务代码可以随意修改 RawMessage。如果同一个对象被缓存、日志记录和异步任务共同使用,最稳妥的约定仍然是只读;确实要编辑时,先复制一份新的 []byte。

需要独立所有权时怎么写

func cloneRawMessage(src json.RawMessage) json.RawMessage {
    return append(json.RawMessage(nil), src...)
}

cloneRawMessage 把“这份数据由新调用者负责”写进代码。它适合放在缓存入口、消息投递入口或把数据交给可能修改切片的旧接口之前。

Go RawMessage 的 UnmarshalJSON 复制边界与 cloneRawMessage 独立所有权示意图

MarshalJSON 的返回值不要当成可编辑工作区

RawMessage.MarshalJSON 对 nil 返回字面量 null,对非 nil 值则返回当前的 RawMessage。这意味着序列化阶段没有替你建立一份可编辑副本。json.Marshal 会负责把结果写入自己的编码流程,但自定义 Marshaler 的调用方不应依赖“拿到返回值后修改它”来改变原对象。

raw := json.RawMessage(`{"ok":true}`)
encoded, err := json.Marshal(raw)
if err != nil {
    return err
}
fmt.Println(string(encoded)) // {"ok":true}

var empty json.RawMessage
encoded, err = json.Marshal(empty)
if err != nil {
    return err
}
fmt.Println(string(encoded)) // null

需要改变内容时,重新构造新的 RawMessage,或者先解码到明确的结构体再编码。这样比直接改动共享字节更容易审查,也不会让缓存里的旧值被悄悄污染。

一张小表厘清四个边界

场景实际动作代码建议
输入解码到 RawMessageUnmarshalJSON 复制 data输入可复用,但对象仍按只读约定使用
RawMessage 序列化非 nil 返回当前字节不要修改 MarshalJSON 返回切片
缓存或异步投递生命周期脱离当前调用先 clone,再交给外部代码
空值判断nil 会编码为 null分别覆盖 nil、空对象和空数组测试

常见误区:复制发生在哪里

把 RawMessage 当成普通字符串

它不是带编码保证的文本容器,而是一段 JSON 编码字节。需要确认内容合法时,仍要通过 json.Valid 或再次解码验证。

只测成功路径,不测输入复用

测试中可以在解码后改写输入缓冲区,再断言 Payload 保持不变;这能直接验证你依赖的是复制边界,而不是偶然的底层数组。

用 nil 表示“没有 payload”却忘了 JSON 结果

nil RawMessage 会走 null。如果协议要求省略字段、输出空对象或输出空数组,应通过结构体标签和明确的值表达,而不是把三种语义混在一起。

延伸问答

RawMessage 适合做 JSON 缓存吗?

适合缓存尚未决定具体结构的 JSON 片段,但缓存边界最好保存独立副本,并在读出时按只读数据处理。

UnmarshalJSON 会复制整个输入 JSON 吗?

它会复制赋给该 RawMessage 字段的那段 JSON 数据,不是让每个业务字段都共享原始输入。真正的内存占用仍应结合消息大小和缓存生命周期评估。

RawMessage 能不能直接拼接 JSON?

可以在确认每一段都来自可信且合法的 JSON 后组合;否则优先使用结构体或 json.Marshal 生成,避免拼接出语法错误或意外字段。

把所有权写进测试与接口

遇到“偶尔变了”的 JSON,先查调用链上谁持有这段 []byte,再区分问题发生在 UnmarshalJSON 的输入复制,还是发生在业务代码复用 RawMessage 的阶段。对外传递时显式 clone,对 nil、空对象、空数组分别断言,通常就能把这个边界变成一条可维护的工程约定。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Java CompletableFuture 超时后如何停止后续处理:orTimeout 与异常分支的边界Java CompletableFuture 超时后如何停止后续处理:orTimeout 与异常分支的边界
上一篇
Java CompletableFuture 超时后如何停止后续处理:orTimeout 与异常分支的边界
Go sync.Map Range 为什么不能当快照:并发遍历与一致性边界
下一篇
Go sync.Map Range 为什么不能当快照:并发遍历与一致性边界
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    459次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    521次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    536次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    486次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    306次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码