Go unicode/utf8.RuneCount 怎样统计字符数量

在 Go 中，len(s) 和“字符数量”经常被误认为是一回事。实际情况是：len(s) 返回字符串占用的 UTF-8 字节数，而 utf8.RuneCountInString(s) 统计字符串里解码出的 rune 数。英文、数字和常见符号通常占 1 个字节；一个中文字符通常占 3 个字节，所以两种结果很容易不同。

如果要计算存储大小，用 len；如果要按 UTF-8 编码单元统计 rune 数，用 utf8.RuneCountInString。如果输入必须是合法 UTF-8，再先调用 utf8.ValidString 或 utf8.Valid。

为什么 len 和 RuneCount 结果不同

Go 的字符串本质上是只读字节序列，字符串字面量通常以 UTF-8 保存。len 不会把字节重新解释成 Unicode 字符，它只返回底层字节数量。例如 Hello, 世界 中，英文、逗号和空格各占一个字节，两个中文字符各占三个字节，因此总字节数是 13；按 rune 看则是 9 个。

这里的 rune 可以理解为 Go 对 Unicode 码点的别名，类型底层是 int32。它适合表达“解码后有多少个 Unicode 编码点”，但不等价于用户眼中的“屏幕字符”：一个带组合音标的字形、某些 emoji 序列，可能由多个 rune 组成。

字符串输入直接使用 RuneCountInString

字符串场景优先使用 utf8.RuneCountInString，不需要先把字符串转换成 []rune。下面的示例同时打印字节数和 rune 数，便于在长度限制或日志排查中看清统计口径。

package main

import (
    "fmt"
    "unicode/utf8"
)

func main() {
    text := "Hello, 世界"

    // len 统计 UTF-8 字节数，RuneCountInString 统计解码出的 rune 数。
    fmt.Println("bytes:", len(text))
    fmt.Println("runes:", utf8.RuneCountInString(text))
}

这个例子输出 bytes: 13 和 runes: 9。因此，数据库字段按字节限制时应使用字节数；表单按 Unicode 编码单元限制时才使用 rune 数。不要因为变量名叫“字符”就默认调用其中一个函数，先确定限制的单位。

[]byte 输入使用 RuneCount

如果数据已经从文件、网络或解码器拿到 []byte，可以直接使用 utf8.RuneCount。它避免了为了计数而把字节切片转换成字符串；但这并不等于完成了输入合法性校验。

package main

import (
    "fmt"
    "unicode/utf8"
)

func main() {
    data := []byte("Go语言")

    // RuneCount 直接读取 UTF-8 字节切片，不改变 data 的内容。
    fmt.Println("bytes:", len(data))
    fmt.Println("runes:", utf8.RuneCount(data))
}

如果后续还要按字符索引或替换文本，才考虑转换成 []rune；只需要一次计数时直接调用 RuneCount 更明确。无论是字符串还是字节切片，计数结果都应该和业务定义保持一致。

非法 UTF-8 输入要不要先校验

RuneCount 和 RuneCountInString 对错误或不完整的 UTF-8 编码有容错语义：错误编码和过短编码会按一个宽度为 1 的 rune 处理。这意味着计数函数可以给出一个结果，但这个结果不表示输入一定是合法文本。

来自网络、文件或外部接口的字节数据，如果协议要求必须是合法 UTF-8，可以先检查，再决定是否继续统计：

package main

import (
    "fmt"
    "unicode/utf8"
)

func countText(data []byte) (int, error) {
    // 先拒绝非法 UTF-8，避免把容错计数当成输入质量证明。
    if !utf8.Valid(data) {
        return 0, fmt.Errorf("input is not valid UTF-8")
    }
    return utf8.RuneCount(data), nil
}

func main() {
    n, err := countText([]byte("标题"))
    // 调用方只在 err 为 nil 时使用计数结果。
    fmt.Println(n, err)
}

如果输入本来就是字符串，配套函数是 utf8.ValidString。而如果业务只是尽量显示内容、允许用替换字符代替坏字节，那么可以保留计数函数的宽容行为，但应在接口说明中写清楚这一点。

三类需求分别该怎么选

还要注意，rune 数不一定等于用户看到的“字数”。如果产品需求是“屏幕上看起来的字符数”，还需要进一步定义组合字符、emoji 序列和语言分词规则，不能只把 RuneCountInString 当成通用的 UI 字符数。

常见问题

len([]rune(s)) 和 utf8.RuneCountInString(s) 有什么区别？

对同一个字符串的合法 UTF-8 内容，它们通常得到相同的 rune 数。前者会创建一个 rune 切片并保留结果，后者直接完成计数；只计数时后者更能表达意图。

中文一定是 3 个字节吗？

常见中文 Unicode 字符在 UTF-8 中通常是 3 个字节，但字节数取决于具体码点。不要把“中文等于 3 字节”写成所有 Unicode 字符的规则。

统计 emoji 应该用 RuneCount 吗？

如果业务定义是 Unicode rune 数，可以用它；如果业务定义是用户感知的完整 emoji 或字素簇，则需要更高层的分段规则，单纯统计 rune 可能把一个视觉符号拆成多个单位。

记住一句话：len 回答“占了多少字节”，RuneCount 回答“按 UTF-8 解码有多少个 rune”。先明确计数单位，再决定是否需要严格校验，字符数量问题就不会再被中文、emoji 或坏字节混在一起。