Go问答:json.RawMessage怎样延迟解析不同结构的 JSON 字段怎样在批处理代码中减少额外分配
json.RawMessage 可以先保存异构 JSON 字段的编码内容,等外层类型字段确定后再解析为具体结构。批处理减少额外分配的重点,是只构造需要的业务对象、逐条消费,并在所有权明确的串行循环内复用临时变量;RawMessage 本身不意味着零拷贝,也不保证比直接解析更快。
官方地址:https://pkg.go.dev/encoding/json
命名信封与延迟载荷模式
设想同一消息流既有计数又有文字说明:外层 kind 用来判断类型,data 随类型改变。我更愿意把外层称作 Envelope,把变化部分保留为 json.RawMessage。这样调度代码不必先把每个载荷拆成 map[string]any,再用类型断言取值。这是组织结构的取舍,不是未经测量的性能结论。
信封域包含 Envelope、Kind 和 Data;业务域包含 Count、Note 和 json.Unmarshal。Envelope 拥有 Kind 与 Data,Data 作为 Unmarshal 的输入,Unmarshal 的目标由 Kind 决定,目标分别是 Count 或 Note。RawMessage 延迟的是业务结构解析,不是让 JSON 语法错误自动消失。

判断何时值得推迟解析
适合的压力来自“外层先能决定是否消费”。例如很多类型只转交或跳过,当前模块只处理少量载荷;此时可以避免为未消费类型创建完整的 map、切片和字符串对象图。如果每一条都要完整解析一次,先留 RawMessage 再 Unmarshal 会增加一层处理,不应默认采用。
另一个压力来自批次规模。把所有消息先解析成 []Envelope 仍会持有整个批次的载荷。逐条读取可缩短已处理数据的存活范围,但不会让单条超大消息变得没有内存成本。本文选择连续 JSON 对象作为输入格式;顶层数组需要另写数组边界读取逻辑。
实现逐条分发
下面代码只使用标准库。Envelope 是复用的信封,Count 和 Note 是当前循环的临时目标。为让缺失字段不继承旧值,每次解码前重置 Kind 和 Data 的长度,解析具体结构前也清零目标。
package main
import (
"bytes"
"encoding/json"
"fmt"
"io"
)
type Envelope struct {
Kind string `json:"kind"`
Data json.RawMessage `json:"data"`
}
type Count struct {
Value int `json:"value"`
}
type Note struct {
Text string `json:"text"`
}
func consume(r io.Reader) error {
dec := json.NewDecoder(r)
var env Envelope
var count Count
var note Note
for {
// 重置类型字段和长度,保留 RawMessage 的容量供本次串行消费复用。
env.Kind = ""
env.Data = env.Data[:0]
if err := dec.Decode(&env); err != nil {
if err == io.EOF {
return nil
}
return fmt.Errorf("读取信封:%w", err)
}
switch env.Kind {
case "count":
// 先清零,防止本条缺少字段时残留上一条的数据。
count = Count{}
if len(env.Data) == 0 || bytes.Equal(bytes.TrimSpace(env.Data), []byte("null")) {
return fmt.Errorf("count 缺少有效 data")
}
if err := json.Unmarshal(env.Data, &count); err != nil {
return fmt.Errorf("解析 count:%w", err)
}
fmt.Println(count.Value)
case "note":
note = Note{}
if len(env.Data) == 0 || bytes.Equal(bytes.TrimSpace(env.Data), []byte("null")) {
return fmt.Errorf("note 缺少有效 data")
}
if err := json.Unmarshal(env.Data, ¬e); err != nil {
return fmt.Errorf("解析 note:%w", err)
}
fmt.Println(note.Text)
default:
// 未消费的类型不构造业务对象;仍由外层解码器检查 JSON 语法。
continue
}
}
}
func main() {
// 输入是连续 JSON 对象,不是包着方括号的数组。
input := []byte("{\"kind\":\"count\",\"data\":{\"value\":7}}\n" +
"{\"kind\":\"note\",\"data\":{\"text\":\"批次说明\"}}\n")
if err := consume(bytes.NewReader(input)); err != nil {
fmt.Println(err)
}
}代码中的打印仅表示当前记录被消费。这里不提供本机运行截图或压测数字。实际项目可把打印改为同步业务调用;业务一旦需要保存数据,就必须重新明确哪些切片和对象归业务拥有。示例遇到已知类型的空 data 或 null 会返回错误,未知类型按示例策略跳过;若业务要求拒绝未知类型,应把 default 改成返回错误。
辨认复制与复用的代价
RawMessage 是编码 JSON 值的容器,解码会持有载荷内容;不能把它理解成输入缓冲区上的永久免费视图。标准实现中的 RawMessage 解码复制输入,因此第一阶段仍有字节存储成本。复用已有容量只是减少某些重复申请的机会,不是库契约承诺固定分配次数,也不应绑定某个工具链的内部表示。
复用域包含 env.Data、底层字节容量和当前记录;所有权域包含独立副本、异步消费者和业务结果。env.Data 使用底层容量,当前记录依赖该 Data;独立副本拥有自己的数据,异步消费者只能在所有权受保证时持有相应数据,业务结果由消费者管理。若把 env.Data 直接存进队列,后续解码可能覆盖共享容量。需要保留旧值时,复制相应字节;这笔分配是正确性所需,不能为了“零分配”省掉。

容量还涉及保留问题。一条很大的 data 可能让复用容器长期保留较大数组。可以在消费完后按业务阈值把过大 Data 置 nil,让后续记录不继续持有它;阈值应根据真实消息大小与内存预算设定,不凭空给所有服务固定数字。
反例与选择清单
| 场景 | 选择 | 代价 |
|---|---|---|
| 单一固定结构,每条都用 | 直接解码业务结构 | 通常无需延迟载荷层 |
| 多种类型,只处理其中一部分 | 信封加 RawMessage | 仍保存原始载荷字节 |
| 大批次逐条同步消费 | 逐条 Decode 与局部复用 | 必须清零缺失字段与旧状态 |
| 把载荷交给异步队列 | 独立副本或移交独占对象 | 需要承担保存数据的分配 |
| 所有载荷最终均完整解析 | 先比较直接解码方案 | 两层解析未必划算 |
判断时先写清消费比例、单条大小、是否保留数据以及同步或异步,再比较分配次数、分配字节和存活堆。没有测量就只描述减少无用对象的机制,不报告提速倍数。复用不会替代业务字段检查;例如 value 缺失时 Count.Value 仍为零,若零有特别含义,需要指针字段或自定义存在性规则。
RawMessage 能跳过无效 JSON 吗?
不能将它当成绕过外层语法解析的工具。信封读取必须先成功,已知载荷再接受对应类型和业务要求的检查。
能重复使用同一个业务结构体吗?
能,但要处理缺失字段保留旧状态的问题。示例每次赋零值,复用复杂切片或映射时还需另外定义清理方式。
只读载荷也必须复制吗?
如果容器以后会被再次写入,只读消费者仍可能看到被覆盖的数据。是否复制取决于所有权和生命周期,不取决于消费者有没有修改意图。
接口依据:https://pkg.go.dev/encoding/json#RawMessage;实现阅读入口:https://go.dev/src/encoding/json/stream.go。本文使用 encoding/json 的既有信封写法,不展开其他 JSON 包的迁移。
Go问答:json.RawMessage怎样延迟解析不同结构的 JSON 字段为什么结果为空或不符合预期
- 上一篇
- Go问答:json.RawMessage怎样延迟解析不同结构的 JSON 字段为什么结果为空或不符合预期
- 下一篇
- Go问答:xml.Decoder TokenXML 命名空间为什么匹配不上怎样完成一个可复用的最小示例
-
- Golang · Go问答 | 29分钟前 |
- Go问答:json.RawMessage怎样延迟解析不同结构的 JSON 字段怎样完成一个可复用的最小示例
- 121浏览 收藏
-
- Golang · Go问答 | 32分钟前 |
- Go问答:bufio.Scanner读取长行为什么提前停止怎样安全扩展缓冲区
- 362浏览 收藏
-
- Golang · Go问答 | 35分钟前 |
- Go问答:http.Transport 的 TLSClientConfig 未设置 ServerName 为什么握手失败
- 271浏览 收藏
-
- Golang · Go问答 | 38分钟前 | 标准库 · 错误处理 · Go问答 · JSON Go HTTP接口 DisallowUnknownFields json.Decoder 未知字段
- Go问答:json.Decoder DisallowUnknownFields接口收到多余字段时怎样提前报错怎样完成一个可复用的最小示例
- 323浏览 收藏
-
- Golang · Go问答 | 41分钟前 |
- Go问答:url.PathEscape路径参数为什么被错误解码怎样在批处理代码中减少额外分配
- 111浏览 收藏
-
- Golang · Go问答 | 44分钟前 |
- Go问答:url.PathEscape路径参数为什么被错误解码为什么结果为空或不符合预期
- 123浏览 收藏
-
- Golang · Go问答 | 47分钟前 | Go问答 · 接口排查 · Go URL编码 net/url 路径参数 url.PathEscape PathUnescape
- Go问答:url.PathEscape路径参数为什么被错误解码怎样完成一个可复用的最小示例
- 285浏览 收藏
-
- Golang · Go问答 | 50分钟前 |
- Go问答:net.ListenConfig监听端口怎样设置底层控制参数怎样在批处理代码中减少额外分配
- 143浏览 收藏
-
- Golang · Go问答 | 53分钟前 |
- Go问答:net.ListenConfig监听端口怎样设置底层控制参数为什么结果为空或不符合预期
- 327浏览 收藏
-
- Golang · Go问答 | 56分钟前 |
- Go问答:net.ListenConfig监听端口怎样设置底层控制参数怎样完成一个可复用的最小示例
- 150浏览 收藏
-
- Golang · Go问答 | 1小时前 | 故障排查 · Go keepalive 网络排查 TCP长连接 net.Dialer
- Go问答:net.Dialer KeepAlive长连接空闲后为什么频繁断开为什么结果为空或不符合预期
- 256浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 962次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 964次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1076次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1052次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 884次使用
-
- 用Nginx反向代理部署go写的网站。
- 2023-01-17 502浏览
-
- GoLand调式动态执行代码
- 2023-01-13 502浏览
-
- Go flag.FlagSet ContinueOnError 怎么捕获帮助输出和解析错误
- 2026-11-05 501浏览
-
- Go netip.ParseAddr 为什么拒绝带端口字符串
- 2026-11-03 501浏览
-
- Go generate 未执行指令的注释与目录检查
- 2026-10-28 501浏览

