当前位置:首页 > 文章列表 > Golang > Go问答 > Go问答:json.RawMessage怎样延迟解析不同结构的 JSON 字段怎样在批处理代码中减少额外分配

Go问答:json.RawMessage怎样延迟解析不同结构的 JSON 字段怎样在批处理代码中减少额外分配

来源:17golang原创 2026-11-09 19:44:28 0浏览 收藏

json.RawMessage 可以先保存异构 JSON 字段的编码内容,等外层类型字段确定后再解析为具体结构。批处理减少额外分配的重点,是只构造需要的业务对象、逐条消费,并在所有权明确的串行循环内复用临时变量;RawMessage 本身不意味着零拷贝,也不保证比直接解析更快。

官方地址:https://pkg.go.dev/encoding/json

命名信封与延迟载荷模式

设想同一消息流既有计数又有文字说明:外层 kind 用来判断类型,data 随类型改变。我更愿意把外层称作 Envelope,把变化部分保留为 json.RawMessage。这样调度代码不必先把每个载荷拆成 map[string]any,再用类型断言取值。这是组织结构的取舍,不是未经测量的性能结论。

信封域包含 Envelope、Kind 和 Data;业务域包含 Count、Note 和 json.Unmarshal。Envelope 拥有 Kind 与 Data,Data 作为 Unmarshal 的输入,Unmarshal 的目标由 Kind 决定,目标分别是 Count 或 Note。RawMessage 延迟的是业务结构解析,不是让 JSON 语法错误自动消失。

JSON信封字段与异构业务对象静态关系图
静态结构说明图:信封字段决定业务载荷的类型归属,两类对象互为选择,不表示并行执行。

判断何时值得推迟解析

适合的压力来自“外层先能决定是否消费”。例如很多类型只转交或跳过,当前模块只处理少量载荷;此时可以避免为未消费类型创建完整的 map、切片和字符串对象图。如果每一条都要完整解析一次,先留 RawMessage 再 Unmarshal 会增加一层处理,不应默认采用。

另一个压力来自批次规模。把所有消息先解析成 []Envelope 仍会持有整个批次的载荷。逐条读取可缩短已处理数据的存活范围,但不会让单条超大消息变得没有内存成本。本文选择连续 JSON 对象作为输入格式;顶层数组需要另写数组边界读取逻辑。

实现逐条分发

下面代码只使用标准库。Envelope 是复用的信封,Count 和 Note 是当前循环的临时目标。为让缺失字段不继承旧值,每次解码前重置 Kind 和 Data 的长度,解析具体结构前也清零目标。

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io"
)

type Envelope struct {
    Kind string          `json:"kind"`
    Data json.RawMessage `json:"data"`
}

type Count struct {
    Value int `json:"value"`
}

type Note struct {
    Text string `json:"text"`
}

func consume(r io.Reader) error {
    dec := json.NewDecoder(r)
    var env Envelope
    var count Count
    var note Note
    for {
        // 重置类型字段和长度,保留 RawMessage 的容量供本次串行消费复用。
        env.Kind = ""
        env.Data = env.Data[:0]
        if err := dec.Decode(&env); err != nil {
            if err == io.EOF {
                return nil
            }
            return fmt.Errorf("读取信封:%w", err)
        }
        switch env.Kind {
        case "count":
            // 先清零,防止本条缺少字段时残留上一条的数据。
            count = Count{}
            if len(env.Data) == 0 || bytes.Equal(bytes.TrimSpace(env.Data), []byte("null")) {
                return fmt.Errorf("count 缺少有效 data")
            }
            if err := json.Unmarshal(env.Data, &count); err != nil {
                return fmt.Errorf("解析 count:%w", err)
            }
            fmt.Println(count.Value)
        case "note":
            note = Note{}
            if len(env.Data) == 0 || bytes.Equal(bytes.TrimSpace(env.Data), []byte("null")) {
                return fmt.Errorf("note 缺少有效 data")
            }
            if err := json.Unmarshal(env.Data, ¬e); err != nil {
                return fmt.Errorf("解析 note:%w", err)
            }
            fmt.Println(note.Text)
        default:
            // 未消费的类型不构造业务对象;仍由外层解码器检查 JSON 语法。
            continue
        }
    }
}

func main() {
    // 输入是连续 JSON 对象,不是包着方括号的数组。
    input := []byte("{\"kind\":\"count\",\"data\":{\"value\":7}}\n" +
        "{\"kind\":\"note\",\"data\":{\"text\":\"批次说明\"}}\n")
    if err := consume(bytes.NewReader(input)); err != nil {
        fmt.Println(err)
    }
}

代码中的打印仅表示当前记录被消费。这里不提供本机运行截图或压测数字。实际项目可把打印改为同步业务调用;业务一旦需要保存数据,就必须重新明确哪些切片和对象归业务拥有。示例遇到已知类型的空 data 或 null 会返回错误,未知类型按示例策略跳过;若业务要求拒绝未知类型,应把 default 改成返回错误。

辨认复制与复用的代价

RawMessage 是编码 JSON 值的容器,解码会持有载荷内容;不能把它理解成输入缓冲区上的永久免费视图。标准实现中的 RawMessage 解码复制输入,因此第一阶段仍有字节存储成本。复用已有容量只是减少某些重复申请的机会,不是库契约承诺固定分配次数,也不应绑定某个工具链的内部表示。

复用域包含 env.Data、底层字节容量和当前记录;所有权域包含独立副本、异步消费者和业务结果。env.Data 使用底层容量,当前记录依赖该 Data;独立副本拥有自己的数据,异步消费者只能在所有权受保证时持有相应数据,业务结果由消费者管理。若把 env.Data 直接存进队列,后续解码可能覆盖共享容量。需要保留旧值时,复制相应字节;这笔分配是正确性所需,不能为了“零分配”省掉。

RawMessage复用容量与异步消费者所有权结构图
静态结构说明图:左侧表达串行临时数据,右侧表达独立持有数据的责任边界,不是内存实测结果。

容量还涉及保留问题。一条很大的 data 可能让复用容器长期保留较大数组。可以在消费完后按业务阈值把过大 Data 置 nil,让后续记录不继续持有它;阈值应根据真实消息大小与内存预算设定,不凭空给所有服务固定数字。

反例与选择清单

场景选择代价
单一固定结构,每条都用直接解码业务结构通常无需延迟载荷层
多种类型,只处理其中一部分信封加 RawMessage仍保存原始载荷字节
大批次逐条同步消费逐条 Decode 与局部复用必须清零缺失字段与旧状态
把载荷交给异步队列独立副本或移交独占对象需要承担保存数据的分配
所有载荷最终均完整解析先比较直接解码方案两层解析未必划算

判断时先写清消费比例、单条大小、是否保留数据以及同步或异步,再比较分配次数、分配字节和存活堆。没有测量就只描述减少无用对象的机制,不报告提速倍数。复用不会替代业务字段检查;例如 value 缺失时 Count.Value 仍为零,若零有特别含义,需要指针字段或自定义存在性规则。

RawMessage 能跳过无效 JSON 吗?

不能将它当成绕过外层语法解析的工具。信封读取必须先成功,已知载荷再接受对应类型和业务要求的检查。

能重复使用同一个业务结构体吗?

能,但要处理缺失字段保留旧状态的问题。示例每次赋零值,复用复杂切片或映射时还需另外定义清理方式。

只读载荷也必须复制吗?

如果容器以后会被再次写入,只读消费者仍可能看到被覆盖的数据。是否复制取决于所有权和生命周期,不取决于消费者有没有修改意图。

接口依据:https://pkg.go.dev/encoding/json#RawMessage;实现阅读入口:https://go.dev/src/encoding/json/stream.go。本文使用 encoding/json 的既有信封写法,不展开其他 JSON 包的迁移。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go问答:json.RawMessage怎样延迟解析不同结构的 JSON 字段为什么结果为空或不符合预期Go问答:json.RawMessage怎样延迟解析不同结构的 JSON 字段为什么结果为空或不符合预期
上一篇
Go问答:json.RawMessage怎样延迟解析不同结构的 JSON 字段为什么结果为空或不符合预期
Go问答:xml.Decoder TokenXML 命名空间为什么匹配不上怎样完成一个可复用的最小示例
下一篇
Go问答:xml.Decoder TokenXML 命名空间为什么匹配不上怎样完成一个可复用的最小示例
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    962次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    964次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1076次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1052次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    884次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码