当前位置:首页 > 文章列表 > Golang > Go教程 > Go go/token.File.Size 怎样读取源码文件登记的字节长度

Go go/token.File.Size 怎样读取源码文件登记的字节长度

来源:17golang原创 2026-11-18 15:20:37 0浏览 收藏

go/token.File.Size() 返回这个文件在 FileSet.AddFile 中登记的长度,类型是 int。源码位置以字节偏移表示,因此自行登记时应把实际源码的字节数作为 size 传入。这个方法不会重新读取磁盘文件,也不会统计字符数。

官方地址:https://pkg.go.dev/go/token

编写源码索引工具时,可能发现“编辑器里的文字数量”和 Size 返回值不同。先区分三个对象:源码缓冲区、文件集中的位置登记、磁盘上的当前文件。只有它们来自同一份内容,长度才有比较意义。

先确认 Size 读取的是哪份登记信息

FileSet 保存源码文件的位置范围,AddFile 根据文件名、起始位置和长度创建 token.File。Size 读取的是该对象登记的 size,而非通过文件名执行文件系统查询。给一个并不存在的内存源码名称,也可以完成位置登记。

下文用 src 表示源码缓冲区,len(src) 表示字节长度,file 表示登记对象,file.Size() 表示登记值。文件名是标签,不是自动同步内容的连接。若调用方传入了错误长度,Size 也不会替调用方纠正。

源码缓冲区与文件集长度登记的静态关系
图1:长度登记结构说明图。源码与登记对象分组表示,连线说明长度来源和对象归属,不表示执行顺序。

用源码字节长度登记文件

以下示例故意保留中文注释,让字节计数与 Unicode 码点计数的区别更容易观察。它只演示内存数据,不需要读取同名磁盘文件。

package main

import (
    "fmt"
    "go/token"
    "unicode/utf8"
)

func main() {
    src := []byte("package sample\n// 中文说明\nvar Label = 1\n")
    fset := token.NewFileSet()
    // len([]byte) 是源码字节数;负 base 让文件集分配起始位置。
    file := fset.AddFile("buffer.go", -1, len(src))
    file.SetLinesForContent(src)
    fmt.Printf("registeredBytes=%d sourceBytes=%d runeCount=%d\n",
        file.Size(), len(src), utf8.RuneCount(src))

    // 修改缓冲区不会重写原文件对象已经登记的 size。
    src = append(src, []byte("// 新增注释\n")...)
    fmt.Printf("oldRegisteredBytes=%d currentBufferBytes=%d\n",
        file.Size(), len(src))
}

第一条打印语句把登记值、输入字节数、码点数放在不同字段。对这里的 UTF-8 中文内容,码点数量不能拿来替换字节长度。第二条打印语句展示源码缓冲区追加后的比较方式:变量 src 的内容变长,之前创建的 file 仍保留旧登记值。

SetLinesForContent 设置的是行起始偏移表;不要把它当成重新登记文件总长度的操作。若源码内容已变,应让下次解析或新的登记对象使用更新后的字节数。也不要在同一个文件集里强行复用已经占用的位置范围。

从语法树所属文件读取长度

使用 parser.ParseFile 时,通常不必再手工为同一份源码调用 AddFile。应使用解析时传入的文件集,通过 tree.Pos() 找到所属文件,然后调用 Size。下面是一个独立示例,不与上一个 main 函数放进同一文件。

package main

import (
    "fmt"
    "go/parser"
    "go/token"
    "log"
)

func main() {
    const src = `package sample
var Title = "长度示例"
`
    fset := token.NewFileSet()
    // 显式传入源码,文件名仅用于标记这个内存缓冲区。
    tree, err := parser.ParseFile(fset, "memory.go", src, 0)
    if err != nil {
        log.Fatal(err)
    }
    file := fset.File(tree.Pos())
    // 先处理位置不属于当前文件集的情形,再读取登记长度。
    if file == nil {
        log.Fatal("语法树位置未关联到当前文件集")
    }
    fmt.Printf("name=%s registeredBytes=%d sourceBytes=%d\n",
        file.Name(), file.Size(), len(src))
}

tree 是语法树,fset.File 根据位置查询 file;registeredBytes 保存 Size 的返回值,sourceBytes 保存输入字符串长度。保留 nil 分支是为了明确位置必须来自匹配的文件集,不能拿另一个解析任务的 FileSet 来碰运气。

语法树位置、文件集查找与登记字节数字段关系
图2:解析对象关系说明图。语法树位置用于文件归属查询,登记长度与输入长度作为两个独立字段比较。

遇到长度不一致时检查数据来源

比较对象表示什么不一致时先查什么
file.Size()文件对象登记值AddFile 的 size 参数或解析输入
len(src)当前字符串或字节切片的字节数是否已追加、替换或转换内容
utf8.RuneCount(src)码点计数是否误当字节数使用
磁盘文件大小另一时刻文件系统中的对象属性是否与解析的缓冲区是同一内容

源码若经过换行转换、编辑器未保存修改或生成步骤,磁盘与内存内容就可能不同。处理方式是确定工具究竟分析哪份源码,再围绕这一份输入登记和解释位置。不要为了让数字相等,改用字符数登记,也不要直接把另一次磁盘查询结果覆盖到旧的分析记录中。

空文件返回 0 是否说明失败?

不一定。AddFile 接受非负长度,空内容可以登记为零。读取 Size 没有单独的 error 返回值,失败与否应结合对象来源判断。

Size 包含额外的 EOF 字节吗?

Size 就是登记长度,不额外加一。位置范围允许偏移达到 size,文件集为下一个文件安排位置时还会预留分隔,这些位置规则不等于源码内容多了一个字节。

能否用相同文件名找回唯一的登记对象?

文件集可以登记多个同名文件,名称不保证唯一。已有语法树时保留匹配的 FileSet,通过位置定位所属文件更明确。

参考资料:Go token.File.Size、FileSet.AddFile、FileSet.File。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go net/textproto.Reader.ReadResponse 怎样读取带续行的协议响应Go net/textproto.Reader.ReadResponse 怎样读取带续行的协议响应
上一篇
Go net/textproto.Reader.ReadResponse 怎样读取带续行的协议响应
JavaScript Event.composed 怎样判断事件能否跨越影子根边界
下一篇
JavaScript Event.composed 怎样判断事件能否跨越影子根边界
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1095次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1092次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1256次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1197次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1046次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码