当前位置:首页 > 文章列表 > Golang > Go问答 > Go json.Decoder.Token 为什么遇到非法嵌套会报错

Go json.Decoder.Token 为什么遇到非法嵌套会报错

来源:17golang原创 2026-11-19 03:53:56 0浏览 收藏

如果你用 json.Decoder.Token() 读取 JSON,遇到 ]、} 与前面打开的容器不匹配,报错是正常行为。Token() 不只是把字符切成字符串,它还会维护 JSON 分隔符的嵌套关系:打开了数组就必须先用 ] 关闭,打开了对象就必须先用 } 关闭。

官方文档:https://pkg.go.dev/encoding/json#Decoder.Token

Token() 报非法嵌套,通常不是 Go 代码的数组索引问题,而是输入 JSON 的分隔符栈已经无法闭合。先保留原始错误,再结合 InputOffset() 和已经读到的容器上下文定位输入。

先看一个最小的非法嵌套

下面的 JSON 打开了对象和数组,但数组里的对象结束后直接写了一个对象结束符。此时最内层仍然期待 ],却读到了 }:

{"users":[{"id":1}}

把这段内容交给 Token() 时,前面的 {、"users"、:、[、{ 和字段值都可能已经被正常读出;真正失败的边界是关闭数组时。逗号和冒号不会作为 token 返回,它们由 JSON 词法规则直接消化,所以错误信息往往应该和“当前应该关闭哪一层容器”一起理解。

Token 为什么能发现分隔符不匹配

Token() 返回的内容主要包括布尔值、字符串、数字、null 以及 json.Delim。其中 json.Delim 只代表数组或对象的四个边界符:[、]、{、}。

可以把它理解成一个内部栈:读到 { 或 [ 时压入对应的预期关闭符;读到关闭符时,必须和栈顶匹配,匹配后才弹出。这个栈属于解码器的语法状态,不是业务代码里的 []any 或 map[string]any。

json.Decoder.Token、json.Delim 与对象数组嵌套栈的静态关系说明图
图1:结构说明图,展示 JSON 输入、Token、json.Delim 与对象数组嵌套栈之间的静态关系;它不是截图或运行证据。

因此,以下两类问题要分开处理:

现象含义处理方向
err == io.EOF输入流正常读完,前提是此前没有语法错误结束 token 循环
返回其他错误语法、输入截断或读取过程出现问题保留错误并记录当前位置
token 是 json.Delim进入或离开一个数组/对象边界更新业务侧上下文

用 InputOffset 区分正常结束和语法失败

流式解码经常把网络响应或文件直接交给 NewDecoder。不要把所有非空错误都当成“没有更多数据”,也不要只打印一行模糊的错误。io.EOF 表示没有更多 token;其他错误则应当保留,InputOffset() 可以帮助记录当前解码位置。

package main

import (
    "encoding/json"
    "fmt"
    "io"
    "strings"
)

func printTokens(input string) error {
    dec := json.NewDecoder(strings.NewReader(input))

    for {
        token, err := dec.Token()
        if err == io.EOF {
            // 正常结束只表示流中暂时没有更多 token。
            return nil
        }
        if err != nil {
            // InputOffset 是解码器当前位置边界,不等同于错误字符的精确列号。
            return fmt.Errorf("读取 JSON token 失败,偏移约为 %d: %w", dec.InputOffset(), err)
        }

        // Delim 只描述容器边界,普通值仍由 Token 返回。
        fmt.Printf("%T: %v\n", token, token)
    }
}

func main() {
    // 这个输入让数组在对象之后遇到错误的关闭符。
    if err := printTokens(`{"users":[{"id":1}}`); err != nil {
        fmt.Println(err)
    }
}

这里有一个容易忽略的边界:InputOffset() 是字节偏移,不是 Unicode 字符数;官方定义是最近一次返回 token 的末尾与下一个 token 开始的位置。把它写进日志时,最好同时保留原始输入片段或请求 ID,方便在多字节文本和网络分片场景中继续定位。

在成功读取的 token 上维护容器上下文

Token() 已经负责语法匹配,但业务日志通常还需要知道“刚刚进入了哪个容器”。可以在成功收到 json.Delim 后维护一个轻量栈。它不是替代标准库校验,而是把已经读成功的上下文翻译成更容易排查的提示。

package main

import (
    "encoding/json"
    "fmt"
    "io"
    "strings"
)

func expectedClose(open json.Delim) (json.Delim, bool) {
    // 只为两个 JSON 容器建立关闭符映射,其他 token 不进入栈。
    switch open {
    case json.Delim('{'):
        return json.Delim('}'), true
    case json.Delim('['):
        return json.Delim(']'), true
    default:
        return 0, false
    }
}

func scanWithContext(input string) error {
    dec := json.NewDecoder(strings.NewReader(input))
    var stack []json.Delim

    for {
        token, err := dec.Token()
        if err == io.EOF {
            // 标准库已保证可返回的分隔符正确匹配,此处只保留成功上下文。
            return nil
        }
        if err != nil {
            // 错误发生在下一个 token 无法满足当前语法的位置。
            return fmt.Errorf("容器上下文 %v,偏移约为 %d: %w", stack, dec.InputOffset(), err)
        }

        delim, ok := token.(json.Delim)
        if !ok {
            continue
        }

        if closeDelim, isOpen := expectedClose(delim); isOpen {
            // 记录对象或数组将要等待的关闭符。
            stack = append(stack, closeDelim)
            continue
        }

        if len(stack) > 0 && stack[len(stack)-1] == delim {
            // 关闭符与栈顶一致,说明这一层容器已经结束。
            stack = stack[:len(stack)-1]
        }
    }
}

func main() {
    // 输入来自字符串只是示例,生产环境可以替换为网络响应或文件。
    if err := scanWithContext(`{"users":[{"id":1}}`); err != nil {
        fmt.Println(err)
    }
}
分隔符预期关闭符、输入偏移与 Token 错误上下文的静态关系说明图
图2:结构说明图,展示预期关闭符栈、InputOffset 和错误日志上下文的静态关系;它不是终端截图或运行结果。

注意,调用方无法从错误返回值中拿到一个“错误的关闭符 token”再自行修正,因为标准库会在发现意外分隔符时直接返回错误。上面的栈只记录已经成功读到的打开符和关闭符,适合补充上下文,不适合把坏输入强行改写后继续解析。

截断输入与非法嵌套不是一回事

如果输入在 [ 或 { 之后突然结束,问题是 JSON 被截断;如果读到了错误的关闭符,问题是嵌套关系不匹配。两者都可能发生在 HTTP 分片、文件末尾或消息拼接场景,但修复方向不同:

  • 截断输入:检查上游响应是否完整、读取是否提前结束,以及是否把多段 JSON 错误地拼成一个值。
  • 非法嵌套:检查生成 JSON 的模板、手写字符串拼接和数组/对象关闭符是否成对。
  • 多个顶层值:Decoder 可以逐个读取流中的 JSON 值,但每个值内部仍必须独立满足 JSON 语法。

几个容易混淆的问题

为什么不能只用 strings.Contains 判断缺少括号?

括号是否出现不等于是否正确嵌套。字符串值本身可以包含括号字符,只有 JSON 词法和容器上下文才能判断某个分隔符是不是结构的一部分。让 Token() 处理语法,再记录业务上下文更可靠。

Token 报错后还能继续读吗?

不要把错误当成可忽略的普通 token。当前解码器已经处于错误输入边界,通常应丢弃这次消息或重新创建解码器,从可信的完整输入重新开始。

InputOffset 能直接指出第几行第几列吗?

不能。它给出的是输入流中的字节位置边界。若需要行列信息,可以在保留原始字节的前提下按换行和 UTF-8 字节计算显示位置,但不要把字节偏移直接当作字符列号。

结论

json.Decoder.Token() 报非法嵌套,是因为它除了拆分 JSON token,还保证 []{} 的分隔符正确匹配。排查时先区分 io.EOF 与真正的语法错误,再记录 InputOffset() 和已经成功读取的容器上下文;不要用字符串包含判断替代 JSON 解析,也不要在错误输入上继续拼凑 token。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go xml.Decoder.Decode 为什么忽略未导出的字段Go xml.Decoder.Decode 为什么忽略未导出的字段
上一篇
Go xml.Decoder.Decode 为什么忽略未导出的字段
Go csv.Reader 为什么 FieldsPerRecord 会导致读取失败
下一篇
Go csv.Reader 为什么 FieldsPerRecord 会导致读取失败
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1102次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1097次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1268次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1208次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1055次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码