Go 字符串按字节截断 UTF-8 时为什么出现替换符

Go 里出现替换符 �，通常不是终端突然改了文字，而是字符串被按字节切进了一个 UTF-8 编码单元。比如“界”占 3 个字节，s[:len(s)-1] 可能只留下它的前 2 个字节；这些字节单独解码时不是完整字符，输出就会显示 Unicode 替换字符 U+FFFD。

先看清 s[:n] 截断的到底是什么

Go 字符串本质上是不可变的字节序列。ASCII 字符常见的是 1 个字节，但中文通常占 3 个字节，许多 emoji 会占 4 个字节。因此 len("界") 得到的是 3，"界"[0] 得到的也只是第一个字节，不是一个可打印的 rune。

下面的例子故意把“界”的最后一个字节切掉。代码里的 % x 用来观察原始字节，utf8.ValidString 用来确认切片后的字符串是否仍是合法 UTF-8。

package main

import (
    "fmt"
    "unicode/utf8"
)

func main() {
    s := "Go 界"
    cut := s[:len(s)-1] // 按字节切掉最后一个字节，可能切进“界”的编码
    fmt.Printf("原串字节: % x\n", s)
    fmt.Printf("截断字节: % x\n", cut)
    fmt.Printf("截断结果: %q，UTF-8 合法: %v\n", cut, utf8.ValidString(cut))
}

关键不是“少了一个中文字符”，而是最后一个编码单元只剩下不完整的前缀。后续打印、JSON 编码或再次按 rune 解码时，坏字节会被表现为 U+FFFD。

用 UTF-8 解码结果定位坏边界

遇到 � 时先不要改字体或强行替换字符。把判断拆成三步：原字符串是否有效、截断字符串是否有效、坏点从哪个字节开始。range 遇到非法 UTF-8 时会消耗一个字节并产生 utf8.RuneError；要知道每个 rune 的实际宽度，可以调用 utf8.DecodeRuneInString。

func firstInvalidByte(s string) int {
    for i := 0; i 

如果只想做整体判断，utf8.ValidString(cut) 已经足够。需要注意的是，合法文本本身也可能真的包含 U+FFFD，所以排查时最好同时检查字节有效性和原始输入来源，不能仅凭屏幕上有一个菱形问号就断定是截断造成的。

按业务选择字节截断还是 rune 截断

如果上限是字节，不能简单改成 string([]rune(s)[:n])，因为那改变了长度单位。更稳妥的写法是逐个解码，在下一个 rune 放不进预算时停止：

func truncateUTF8Bytes(s string, max int) string {
    if max  max {
            break // 下一个 rune 放不进预算，停在上一个合法边界
        }
        end += size
    }
    return s[:end]
}

func truncateRunes(s string, max int) string {
    rs := []rune(s) // 按 Unicode code point 建立可计数的序列
    if max 

生产代码还应决定非法输入怎么处理：拒绝、替换，还是保留原始字节。上面的字节截断函数假设输入本来就是合法 UTF-8；若入口可能接收任意字节，应先用 utf8.ValidString 做策略判断。

别把 rune 边界当成用户看到的字符边界

[]rune 能避免把一个 UTF-8 编码单元拆开，但 Unicode 的“一个用户看到的字符”可能由多个 code point 组成。例如带组合重音的字母，或由多个 code point 组成的 emoji 序列，按 rune 截断仍可能拆散视觉单元。若需求是协议字节限制，选择安全字节截断；若需求是代码点数量，选择 rune 截断；若需求是排版上的完整字符，应采用能识别 grapheme cluster 的库或方案，并把它作为独立的产品约束。

常见问题

为什么 len("中文") 不是 2？

len 返回字节数。中文在 UTF-8 中通常占 3 个字节，所以这个字符串通常是 6；需要 rune 数量时用 utf8.RuneCountInString 或按 range 计数。

把非法字节替换成 � 就能修好吗？

这只是显示层的兜底，不会恢复丢失的原始字节。能控制截断逻辑时，应先修正边界；无法恢复数据时，再明确采用替换或拒绝策略。

为什么 range 不会像 s[:n] 一样直接报错？

字符串可以保存任意字节，range 会尝试按 UTF-8 解码，并对非法序列用一个字节和 RuneError 表示。它不会替调用方恢复被截掉的数据。

emoji 用 []rune 截断一定安全吗？

不一定。它只保证不拆开单个 code point；复杂 emoji 和组合字符还需要更高层的 grapheme cluster 处理。