Go json.Decoder.Token 为什么遇到非法嵌套会报错
如果你用 json.Decoder.Token() 读取 JSON,遇到 ]、} 与前面打开的容器不匹配,报错是正常行为。Token() 不只是把字符切成字符串,它还会维护 JSON 分隔符的嵌套关系:打开了数组就必须先用 ] 关闭,打开了对象就必须先用 } 关闭。
官方文档:https://pkg.go.dev/encoding/json#Decoder.Token
Token()报非法嵌套,通常不是 Go 代码的数组索引问题,而是输入 JSON 的分隔符栈已经无法闭合。先保留原始错误,再结合InputOffset()和已经读到的容器上下文定位输入。
先看一个最小的非法嵌套
下面的 JSON 打开了对象和数组,但数组里的对象结束后直接写了一个对象结束符。此时最内层仍然期待 ],却读到了 }:
{"users":[{"id":1}}
把这段内容交给 Token() 时,前面的 {、"users"、:、[、{ 和字段值都可能已经被正常读出;真正失败的边界是关闭数组时。逗号和冒号不会作为 token 返回,它们由 JSON 词法规则直接消化,所以错误信息往往应该和“当前应该关闭哪一层容器”一起理解。
Token 为什么能发现分隔符不匹配
Token() 返回的内容主要包括布尔值、字符串、数字、null 以及 json.Delim。其中 json.Delim 只代表数组或对象的四个边界符:[、]、{、}。
可以把它理解成一个内部栈:读到 { 或 [ 时压入对应的预期关闭符;读到关闭符时,必须和栈顶匹配,匹配后才弹出。这个栈属于解码器的语法状态,不是业务代码里的 []any 或 map[string]any。

因此,以下两类问题要分开处理:
| 现象 | 含义 | 处理方向 |
|---|---|---|
err == io.EOF | 输入流正常读完,前提是此前没有语法错误 | 结束 token 循环 |
| 返回其他错误 | 语法、输入截断或读取过程出现问题 | 保留错误并记录当前位置 |
token 是 json.Delim | 进入或离开一个数组/对象边界 | 更新业务侧上下文 |
用 InputOffset 区分正常结束和语法失败
流式解码经常把网络响应或文件直接交给 NewDecoder。不要把所有非空错误都当成“没有更多数据”,也不要只打印一行模糊的错误。io.EOF 表示没有更多 token;其他错误则应当保留,InputOffset() 可以帮助记录当前解码位置。
package main
import (
"encoding/json"
"fmt"
"io"
"strings"
)
func printTokens(input string) error {
dec := json.NewDecoder(strings.NewReader(input))
for {
token, err := dec.Token()
if err == io.EOF {
// 正常结束只表示流中暂时没有更多 token。
return nil
}
if err != nil {
// InputOffset 是解码器当前位置边界,不等同于错误字符的精确列号。
return fmt.Errorf("读取 JSON token 失败,偏移约为 %d: %w", dec.InputOffset(), err)
}
// Delim 只描述容器边界,普通值仍由 Token 返回。
fmt.Printf("%T: %v\n", token, token)
}
}
func main() {
// 这个输入让数组在对象之后遇到错误的关闭符。
if err := printTokens(`{"users":[{"id":1}}`); err != nil {
fmt.Println(err)
}
}
这里有一个容易忽略的边界:InputOffset() 是字节偏移,不是 Unicode 字符数;官方定义是最近一次返回 token 的末尾与下一个 token 开始的位置。把它写进日志时,最好同时保留原始输入片段或请求 ID,方便在多字节文本和网络分片场景中继续定位。
在成功读取的 token 上维护容器上下文
Token() 已经负责语法匹配,但业务日志通常还需要知道“刚刚进入了哪个容器”。可以在成功收到 json.Delim 后维护一个轻量栈。它不是替代标准库校验,而是把已经读成功的上下文翻译成更容易排查的提示。
package main
import (
"encoding/json"
"fmt"
"io"
"strings"
)
func expectedClose(open json.Delim) (json.Delim, bool) {
// 只为两个 JSON 容器建立关闭符映射,其他 token 不进入栈。
switch open {
case json.Delim('{'):
return json.Delim('}'), true
case json.Delim('['):
return json.Delim(']'), true
default:
return 0, false
}
}
func scanWithContext(input string) error {
dec := json.NewDecoder(strings.NewReader(input))
var stack []json.Delim
for {
token, err := dec.Token()
if err == io.EOF {
// 标准库已保证可返回的分隔符正确匹配,此处只保留成功上下文。
return nil
}
if err != nil {
// 错误发生在下一个 token 无法满足当前语法的位置。
return fmt.Errorf("容器上下文 %v,偏移约为 %d: %w", stack, dec.InputOffset(), err)
}
delim, ok := token.(json.Delim)
if !ok {
continue
}
if closeDelim, isOpen := expectedClose(delim); isOpen {
// 记录对象或数组将要等待的关闭符。
stack = append(stack, closeDelim)
continue
}
if len(stack) > 0 && stack[len(stack)-1] == delim {
// 关闭符与栈顶一致,说明这一层容器已经结束。
stack = stack[:len(stack)-1]
}
}
}
func main() {
// 输入来自字符串只是示例,生产环境可以替换为网络响应或文件。
if err := scanWithContext(`{"users":[{"id":1}}`); err != nil {
fmt.Println(err)
}
}

注意,调用方无法从错误返回值中拿到一个“错误的关闭符 token”再自行修正,因为标准库会在发现意外分隔符时直接返回错误。上面的栈只记录已经成功读到的打开符和关闭符,适合补充上下文,不适合把坏输入强行改写后继续解析。
截断输入与非法嵌套不是一回事
如果输入在 [ 或 { 之后突然结束,问题是 JSON 被截断;如果读到了错误的关闭符,问题是嵌套关系不匹配。两者都可能发生在 HTTP 分片、文件末尾或消息拼接场景,但修复方向不同:
- 截断输入:检查上游响应是否完整、读取是否提前结束,以及是否把多段 JSON 错误地拼成一个值。
- 非法嵌套:检查生成 JSON 的模板、手写字符串拼接和数组/对象关闭符是否成对。
- 多个顶层值:
Decoder可以逐个读取流中的 JSON 值,但每个值内部仍必须独立满足 JSON 语法。
几个容易混淆的问题
为什么不能只用 strings.Contains 判断缺少括号?
括号是否出现不等于是否正确嵌套。字符串值本身可以包含括号字符,只有 JSON 词法和容器上下文才能判断某个分隔符是不是结构的一部分。让 Token() 处理语法,再记录业务上下文更可靠。
Token 报错后还能继续读吗?
不要把错误当成可忽略的普通 token。当前解码器已经处于错误输入边界,通常应丢弃这次消息或重新创建解码器,从可信的完整输入重新开始。
InputOffset 能直接指出第几行第几列吗?
不能。它给出的是输入流中的字节位置边界。若需要行列信息,可以在保留原始字节的前提下按换行和 UTF-8 字节计算显示位置,但不要把字节偏移直接当作字符列号。
结论
json.Decoder.Token() 报非法嵌套,是因为它除了拆分 JSON token,还保证 []{} 的分隔符正确匹配。排查时先区分 io.EOF 与真正的语法错误,再记录 InputOffset() 和已经成功读取的容器上下文;不要用字符串包含判断替代 JSON 解析,也不要在错误输入上继续拼凑 token。
Go xml.Decoder.Decode 为什么忽略未导出的字段
- 上一篇
- Go xml.Decoder.Decode 为什么忽略未导出的字段
- 下一篇
- Go csv.Reader 为什么 FieldsPerRecord 会导致读取失败
-
- Golang · Go问答 | 12分钟前 |
- Go xml.Decoder.Decode 为什么忽略未导出的字段
- 440浏览 收藏
-
- Golang · Go问答 | 13分钟前 | go · 压缩 · compress/gzip Header.Comment gzip Reader
- Go compress/gzip.Header.Comment 怎样读取压缩流中的注释字段
- 128浏览 收藏
-
- Golang · Go问答 | 14分钟前 | JSON · 类型转换 · Go问答 · encoding/json · Go encoding/json json.Unmarshal float64 json.Number JSON数字 Decoder.UseNumber
- Go json.Unmarshal 为什么把数字解码成 float64
- 397浏览 收藏
-
- Golang · Go问答 | 15分钟前 | 文件处理 · Go问答 · 解压 Go archive/zip ZIP权限 ExternalAttrs zip.FileHeader.Mode
- Go zip.FileHeader.Mode 为什么解压权限不完整
- 333浏览 收藏
-
- Golang · Go问答 | 18分钟前 |
- Go tar.Reader 读到 EOF 后为什么还要检查错误
- 295浏览 收藏
-
- Golang · Go问答 | 25分钟前 |
- Go math/big.Int.ModInverse 怎样判断模逆不存在
- 250浏览 收藏
-
- Golang · Go问答 | 31分钟前 |
- Go os.File.Sync 为什么不能替代目录同步
- 107浏览 收藏
-
- Golang · Go问答 | 7小时前 |
- Go image.Alpha.PixOffset 怎样计算透明度像素在缓冲区的位置
- 246浏览 收藏
-
- Golang · Go问答 | 8小时前 | go · Go 调色板索引 Paletted ColorIndexAt
- Go image.Paletted.ColorIndexAt 怎样取得像素使用的调色板索引
- 396浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1102次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1097次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1268次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1208次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1055次使用
-
- 接口返回 200 但前端仍报错怎么办:从响应格式到跨域一步步排查
- 2026-06-14 332浏览
-
- Go map 并发写 panic 怎么办:从共享 map 到可控写入路径
- 2026-06-30 123浏览
-
- golang生成JSON以及解析JSON
- 2023-01-17 329浏览
-
- Go如何实现json字符串与各类struct相互转换
- 2023-01-07 377浏览
-
- Go中使用gjson来操作JSON数据的实现
- 2023-01-07 141浏览

