Go scanner.Init 的源码长度与文件大小不一致怎么办

这个 panic 的根因很明确：go/scanner 的 Scanner.Init 要求 token.File.Size() 与传入 src []byte 的 len(src) 完全相等。修复时不要去改扫描器内部状态，而是用最终版本的源码字节数重新调用 FileSet.AddFile；如果源码后来变长或变短，也要重新建立对应的 token.File。

先看清 Init 比较的两个长度

错误通常长这样：文件用旧源码长度创建，扫描时却传入了替换过内容的 src。例如源码从 ASCII 变成包含中文的 UTF-8 文本，字符个数看起来没有明显变化，字节长度却已经不同。FileSet.AddFile 的第三个参数是文件大小，File.Size() 返回的也是这个登记值。

package main

import (
    "fmt"
    "go/scanner"
    "go/token"
)

func main() {
    src := []byte("package main\nvar 名称 = 1\n")
    fset := token.NewFileSet()
    // 文件大小必须使用最终 src 的字节长度，而不是字符数量。
    file := fset.AddFile("memory.go", fset.Base(), len(src))

    var s scanner.Scanner
    // Init 会比较 file.Size() 与 len(src)，不一致就直接 panic。
    s.Init(file, src, nil, 0)
    fmt.Println(file.Size(), len(src))
}

这里的 len(src) 是 UTF-8 字节切片长度。不要用 utf8.RuneCount、字符串中“看起来的字符数”或 token 数替代它。即使文件名是空字符串，也不影响这条长度契约。

用最终源码重新登记 token.File

如果源码来自模板、拼接或预处理，先完成这些改动，再创建文件对象。把“旧文件 + 新 src”拼在一起，是最常见的错误修复半成品。

func scanSource(src []byte) (int, error) {
    fset := token.NewFileSet()
    // AddFile 的 size 与本次扫描输入绑定，位置区间也据此建立。
    file := fset.AddFile("generated.go", fset.Base(), len(src))

    var errs scanner.ErrorList
    var s scanner.Scanner
    // 保留错误列表，便于区分长度 panic 与语法错误。
    s.Init(file, src, errs.Add, scanner.ScanComments)
    for {
        // Scan 返回 token.NoPos 之外的位置信息都来自 file 和 fset。
        _, tok, _ := s.Scan()
        if tok == token.EOF {
            break
        }
    }
    return s.ErrorCount, errs.Err()
}

这个选择比“沿用旧的 token.File”更稳妥：AddFile 同时确定了文件在 FileSet 中的字节区间，后续扫描位置才有一致的基准。长度对齐只解决初始化契约，不代表输入一定没有语法错误，所以仍应保留 ErrorHandler 或检查 ErrorCount。

源码变化后为什么要重建 File

token.File 的 Size() 是创建时登记的值，不是随着 src 自动变化的属性。若你的流程先扫描模板、随后插入一段源码，正确做法是把插入完成后的字节重新放入 src，用新的 FileSet 和 len(src) 登记，再初始化新的 Scanner。

常见问题

为什么中文源码更容易触发这个 panic

因为 Go 的源码输入是 []byte，中文 UTF-8 通常占用多个字节。按字符数登记 size 时，和 len(src) 的差异会直接暴露。

把 src 截短到旧 size 是否可行

只有当截短后的内容仍是你真正要扫描的完整源码时才可以。为了绕过 panic 丢掉源码尾部，会让扫描结果和位置错误，不能作为通用修复。

长度一致但位置仍不对怎么办

那已经超出本题的初始化长度边界，应继续检查 FileSet、文件基址和源码是否在扫描后被替换；不要把所有位置问题都归因于 Init。