当前位置:首页 > 文章列表 > Golang > Go问答 > Go text/scanner.TokenString 怎样把扫描记号编号变成可读名称

Go text/scanner.TokenString 怎样把扫描记号编号变成可读名称

来源:17golang原创 2026-11-18 09:46:51 0浏览 收藏

排查 Go 文本扫描日志时,经常会看到一个不太直观的数字:Scanner.Scan() 返回的是 rune,而不是已经格式化好的 token 名称。要把这个编号变成适合日志和错误信息阅读的文本,可以直接调用 scanner.TokenString(tok)。它会把 scanner.Ident、scanner.Int 这类预定义记号显示成名称,也能把加号、括号或普通 Unicode 字符转换成可打印形式。

官方地址:https://pkg.go.dev/text/scanner#TokenString

TokenString 的参数是 rune,返回值是 string。最稳妥的调用顺序是先判断 scanner.EOF,再把仍需记录或展示的扫描结果交给 TokenString;不要把返回值当成原始文本,原始文本应使用 Scanner.TokenText() 获取。

先看清 Scan 返回的不是名称

我第一次把扫描结果写进调试日志时,容易把返回值直接用 %d 打出来。这样虽然能看到一个整数,却不知道它代表标识符、整数、字符串,还是某个实际字符。text/scanner 的扫描器面向 UTF-8 文本,默认识别 Go 风格的字面量和标识符;Scan 返回的是一个 token 或 Unicode 字符。

因此,扫描结果实际上包含两条互补信息:返回的 rune 表示“它属于哪一类”,TokenText() 表示“源文本中具体读到了什么”。例如,输入中的 total 可能返回 scanner.Ident,但它的原始文本仍然是 total;输入中的 + 则可能直接返回字符 '+'。

Go Scanner.Scan 返回 rune 后由 TokenString 转换为预定义记号名称或字符文本的关系说明图
图1:结构说明图,展示 Scan 返回 rune、TokenString 转换和可读名称之间的关系;不是截图或运行证据。
package main

import (
	"fmt"
	"strings"
	"text/scanner"
)

func main() {
	const source = "total + 42"

	var s scanner.Scanner
	// 用字符串阅读器提供输入,Scanner 会按 token 逐个读取。
	s.Init(strings.NewReader(source))

	for {
		tok := s.Scan()
		// EOF 是结束哨兵,不再把它当成普通输入处理。
		if tok == scanner.EOF {
			break
		}

		// TokenString 负责显示类别,TokenText 负责显示原始文本。
		fmt.Printf("kind=%s value=%q\\n", scanner.TokenString(tok), s.TokenText())
	}
}

这里的 kind 与 value 不应混为一谈:前者回答“扫描器把它归为哪种记号”,后者回答“输入里实际出现了什么”。把两者一起输出,排查模式配置或输入内容时会比只记录数字更容易定位。

用 TokenString 把预定义记号变成名称

TokenString(tok) 的函数签名是 func TokenString(tok rune) string。对 scanner.Ident、scanner.Int、scanner.Float、scanner.Char、scanner.String、scanner.RawString 和 scanner.Comment 这类预定义记号,它返回对应的可读名称。这样日志里显示的是 Ident、Int 或 String,而不是难以联想到含义的数值。

一个小提醒是:TokenString 只负责把编号或字符格式化,不负责重新扫描,也不会替你取得 token 的原始内容。要显示字符串字面量本身,仍然应该读取 s.TokenText();要显示源代码位置,则使用扫描器的 Position 或 Pos()。

func describeToken(tok rune, text string) string {
	// TokenString 把 token 编号转成稳定的可读名称,适合放进日志。
	kind := scanner.TokenString(tok)
	// 原始文本来自 TokenText,不要用 kind 代替输入内容。
	return fmt.Sprintf("%s: %q", kind, text)
}

如果把这个辅助函数放进扫描循环,输出可以类似下面这样:

Ident: "total"
+: "+"
Int: "42"

上面的输出里,+ 不是一个名为 Plus 的预定义常量,而是普通 Unicode 字符。它仍然可以由 TokenString 转成可打印字符串,这正是该函数比手写一张常量映射表更方便的地方。

区分预定义记号和普通 Unicode 字符

Scan 的返回值有两种常见形态。第一种是扫描器识别出的预定义 token,例如 Ident 和 Int;第二种是没有被归入这些 token 的单个 Unicode 字符,例如 '+'、'(' 或中文字符。两者的类型都是 rune,但解释方式不同。

不要用“返回值大于某个数字”这种经验规则判断类别。更可靠的做法是先处理 EOF,再用明确的 switch 列出需要特殊处理的预定义 token,其余结果交给 TokenString 展示,并结合 TokenText() 看原文。

Go 扫描结果在预定义记号、普通 Unicode 字符和 EOF 之间的静态边界说明图
图2:边界说明图,对比预定义记号、普通 Unicode 字符与 EOF 的处理关系;不是截图或运行证据。
func printKind(tok rune, text string) {
	switch tok {
	case scanner.Ident, scanner.Int, scanner.Float, scanner.Char, scanner.String, scanner.RawString, scanner.Comment:
		// 这些值代表 scanner 预定义的记号类别。
		fmt.Printf("预定义记号 %s,原文 %q\\n", scanner.TokenString(tok), text)
	default:
		// 其他非 EOF 值可能就是一个普通 Unicode 字符。
		fmt.Printf("字符或其他结果 %s,原文 %q\\n", scanner.TokenString(tok), text)
	}
}

在实际项目里,不一定要把两类结果显示成不同的中文标签;关键是不要丢失原始文本,也不要把普通字符误报成某个标准 token。对语法高亮、轻量解析器和诊断工具来说,这个区分尤其重要。

EOF 要先判断,再决定是否格式化

scanner.EOF 是扫描结束的特殊返回值,不代表输入中存在一个名为 EOF 的字符。循环里通常先判断它并退出;如果你正在写通用诊断函数,也可以把它格式化为 EOF 后记录一次结束状态,但不要继续读取或把它加入业务 token 列表。

func scanWithLog(source string) {
	var s scanner.Scanner
	// 初始化后,Scanner 使用默认的 Go token 模式和空白规则。
	s.Init(strings.NewReader(source))

	for {
		tok := s.Scan()
		if tok == scanner.EOF {
			// 结束状态只记录一次,避免循环继续读取 EOF。
			fmt.Println("scan finished:", scanner.TokenString(tok))
			return
		}

		// 位置、类别和原文分别来自不同字段,便于后续定位问题。
		fmt.Printf("%s %s %q\\n", s.Position, scanner.TokenString(tok), s.TokenText())
	}
}

如果日志只需要“类别”,保留 TokenString(tok) 即可;如果日志要支持回放或定位,建议同时保存位置和 TokenText()。这能避免看到 Ident 后还要猜具体是哪一个标识符。

把扫描结果写进日志时的速查表

场景应读取的值用途
知道 token 属于哪一类scanner.TokenString(tok)输出 Ident、Int 等可读名称
知道输入里具体是什么s.TokenText()输出原始标识符、数字或字符串文本
知道 token 从哪里开始s.Position记录文件名、行号和列号
判断扫描是否结束tok == scanner.EOF退出循环,不再当作普通 token

一句话记忆:TokenString 解决“这个返回值叫什么”,TokenText 解决“输入里读到了什么”。两者一起记录,才足够支撑常见的扫描问题排查。

常见问题

TokenString 能替代 TokenText 吗?

不能。前者描述 token 类别或字符的可打印形式,后者返回最近一次扫描到的原始文本。比如多个不同的标识符都可能返回 Ident,但它们的 TokenText() 不同。

为什么加号没有显示成 Plus?

加号通常作为普通 Unicode 字符返回,而不是 scanner 预定义的命名 token。TokenString('+') 的目标是把它格式化成可打印的 +。

可以直接把 token 转成 int 再查表吗?

不建议。token 的含义由 text/scanner 的常量和字符规则决定,手写数字映射容易漏掉普通字符、EOF 或后续的模式变化。需要可读输出时直接调用 TokenString。

最后可以把排查顺序固定下来:先判断 EOF,再用 TokenString 记录类别,用 TokenText 保留原文,用 Position 标出位置。这样,扫描记号的编号就不再是孤立的数字,而会变成能直接帮助定位问题的诊断信息。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go go/doc.Package.Parser 怎样为包内注释配置链接解析器Go go/doc.Package.Parser 怎样为包内注释配置链接解析器
上一篇
Go go/doc.Package.Parser 怎样为包内注释配置链接解析器
Go go/scanner.ErrorList.Add 怎样保留多个源码位置对应的扫描错误
下一篇
Go go/scanner.ErrorList.Add 怎样保留多个源码位置对应的扫描错误
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1090次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1088次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1252次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1196次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1041次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码