Go utf8.ValidString 如何在入库前拦截坏编码

Go 的 string 本质上是一段只读字节序列，并不会自动保证内容是合法 UTF-8。外部请求、文件导入或消息队列一旦把坏字节带进来，直接入库就可能在后续渲染、搜索或跨系统同步时暴露问题。

入库前可以先调用 utf8.ValidString(s)：返回 false 就拒绝这条输入；返回 true 只代表字节层面是合法 UTF-8，长度、格式、敏感字段和数据库字符集仍要继续检查。

先把“坏编码”定义成字节问题

unicode/utf8 标准库把 UTF-8 看成字节序列。ASCII 字节可以直接通过，多字节字符则必须满足起始字节、续字节和长度规则；截断的中文、孤立的 0xff、错误的续字节都会被判为非法。空字符串没有非法字节，因此检查结果是 true。

它和“字符串里有没有中文”没有关系，也不会判断字符是否可打印。一个只含英文的字符串和一个包含 emoji 的字符串，只要编码完整，都可以通过。

在统一入库边界执行拦截

实践中不要在每个 handler 里各写一套判断。把文本字段汇聚到 repository、导入服务或消息消费的共同入口，能避免某条旁路漏检，也方便统计坏数据来自哪个入口。

package ingest

import (
    "crypto/sha256"
    "encoding/hex"
    "errors"
    "fmt"
    "unicode/utf8"
)

var ErrInvalidUTF8 = errors.New("invalid UTF-8 text")

func checkText(field, value string) error {
    // 先做字节级检查；不要把原始文本写入日志，避免泄露用户内容。
    if !utf8.ValidString(value) {
        digest := sha256.Sum256([]byte(value))
        // 摘要只用于关联同一批坏数据，长度用于判断输入规模。
        return fmt.Errorf("%w: field=%s bytes=%d digest=%s", ErrInvalidUTF8, field, len(value), hex.EncodeToString(digest[:6]))
    }
    return nil
}

func validateBeforeInsert(title, body string) error {
    // 每个要落库的文本字段都经过同一个入口。
    if err := checkText("title", title); err != nil {
        return err
    }
    if err := checkText("body", body); err != nil {
        return err
    }
    return nil
}

调用方收到 ErrInvalidUTF8 时可以返回明确的 4xx，导入任务则把行号和字段名放进失败记录。不要用 strings.ToValidUTF8 静默替换后直接入库，除非业务明确接受替换字符，因为这会掩盖上游数据源的问题。

把编码检查和业务校验分开

通过 ValidString 的数据仍可能无法入库。比如标题超过字段长度、手机号格式错误，或者数据库连接使用的字符集无法承载目标字符。正确的顺序是先排除非法字节，再执行业务约束和数据库约束。

还要分清 len(s) 和字符数：前者是字节数，中文和 emoji 通常占用多个字节；如果业务限制“最多 100 个字符”，应结合语义选择 utf8.RuneCountInString，并同时保留请求体大小限制。

在高压入口控制成本与观测

ValidString 是线性扫描，通常适合放在入库前；对大量 ASCII 文本，标准库实现还会做快速跳过。真正需要留意的是重复扫描：校验前不要先把字符串转成 []rune，也不要为了打印日志再复制一份完整内容。

上线后至少观察三类信号：非法 UTF-8 拒绝次数、来源接口或导入任务的分布、单条输入字节数的分位数。日志使用字段名、来源标识、长度和短摘要，原始内容留在受控的失败样本存储中，并设置脱敏与保留期限。

这样处理后，坏编码会在数据层边界被挡住；合法 UTF-8 则继续接受真正的业务校验。它是一道明确的小闸门，不是替代数据库设计和输入模型的万能开关。

Go utf8.ValidString 常见问题

utf8.ValidString 返回 true，为什么页面仍然乱码？

它只证明字节序列合法，页面仍可能使用错误的响应头、错误的数据库连接字符集，或把字节按其他编码解释。继续检查传输和存储链路。

能不能用 range 代替它？

不建议。range 遇到非法序列会产出 utf8.RuneError，但单看遍历结果不容易区分原本就存在的替换字符；要做完整性门禁，直接调用 ValidString 更清楚。