Go strings.ToValidUTF8 替换非法字节时如何保留错误位置

如果你在日志、文件或网络输入中用 strings.ToValidUTF8 清洗坏字节，先记住一个容易被忽略的事实：它保证返回值是合法 UTF-8，却不保证清洗后的字节偏移仍等于原始偏移。函数会把一段连续的非法字节替换成一次 replacement；replacement 长度与非法区间长度不一致时，后面的定位自然会移动。

因此，错误位置要在清洗前用原始字节偏移记录。只有展示文本时直接替换即可；如果下游协议、日志关联或编辑器标记依赖偏移，就保存区间映射，必要时采用等长替换。

先记录原始字符串里的非法字节区间

快速判断可以先调用 utf8.ValidString。返回 false 只说明输入含有非法编码，不能告诉你错误发生在哪里。扫描时使用 utf8.DecodeRuneInString：当返回 utf8.RuneError 且宽度为 1，才是一个非法字节。合法编码后的 U+FFFD 会返回宽度 3，不应被当成坏数据。

package main

import (
    "fmt"
    "unicode/utf8"
)

type ByteSpan struct { Start, End int }

func invalidRuns(s string) []ByteSpan {
    var spans []ByteSpan
    for i := 0; i 

这个示例的区间是 [1,2) 和 [3,5)。区间采用左闭右开写法，既便于切片，也能明确第二段包含两个非法字节。range 提供的索引同样是字节位置；若业务要显示“第几个字符”，应另行换算，不能把它和字节偏移混用。

根据是否依赖偏移选择替换方式

只要目标是把文本交给 JSON、日志或页面展示，下面的最小写法通常就够了：

import "strings"

cleaned := strings.ToValidUTF8(raw, "�")
// replacement 可以是空串；连续非法字节区间只写入一次 replacement。
if !utf8.ValidString(cleaned) {
    panic("清洗结果仍不是合法 UTF-8")
}

但它不适合直接拿清洗后的索引回指原文。比如一段非法区间有两个字节，replacement 却是三字节的 U+FFFD，后续位置会增加一个字节；replacement 为空时，后续位置会前移。即使 replacement 是一个字节，多个非法区间长度不同时，也可能因为“一段只替换一次”而改变长度。

偏移敏感场景要使用等长替换

如果后续处理必须继续使用原始字节偏移，可以保留合法片段，并把每个非法字节替换成一个 ASCII 标记。这样输出长度与输入相同，但代价是坏字节的原始值被隐藏，所以仍应把原始数据或区间日志保存到受控位置。

import (
    "strings"
    "unicode/utf8"
)

func replaceInvalidRunsSameLen(s string, marker byte) string {
    var out strings.Builder
    out.Grow(len(s)) // 等长替换无需扩大容量，便于保持字节位置。
    for i := 0; i 

这里的“等长”指字节长度，不是字符数量。ASCII 标记占 1 个字节；如果改用多字节符号，就必须按字节长度重新设计映射，不能凭视觉上一个字符来判断位置没有变化。

上线前复查、回滚与告警确认

处理链建议固定为：保留原始输入或摘要 → 扫描并记录 spans → 清洗 → 验证 utf8.ValidString → 将清洗计数和区间写入同一条请求日志。告警只在非法区间数量超过业务容忍值时触发，避免把偶发脏字节误报成服务故障。

如果清洗后的内容被发现误伤，回滚点应是原始字节或带区间的原始记录，而不是再次对 cleaned 调用 ToValidUTF8；替换已经不可逆。测试至少覆盖：无错误输入、单个坏字节、连续坏字节、合法 U+FFFD、坏字节位于末尾，以及 replacement 为空串的情况。

官方资料：https://pkg.go.dev/strings#ToValidUTF8；https://pkg.go.dev/unicode/utf8。

相关问题

为什么不能只判断返回值是否包含 RuneError？

合法文本本身可以包含 U+FFFD。判断非法编码要看 DecodeRuneInString 返回的宽度是否为 1，或直接用 utf8.ValidString。

ToValidUTF8 会逐个坏字节替换吗？

不会。连续的非法字节会被视为一个 run，只写入一次 replacement；这正是固定替换字符串可能改变偏移的原因。

记录 rune 索引能代替字节偏移吗？

不能。Go 的字符串切片和 UTF-8 解码都按字节工作；只有在明确转换规则后，rune 序号才适合做面向用户的字符位置。