包含无效字符的字节到字符串转换

你在学习Golang相关的知识吗？本文《包含无效字符的字节到字符串转换》，主要介绍的内容就涉及到，如果你想提升自己的开发能力，就不要错过这篇文章，大家要知道编程理论基础和实战操作都是不可或缺的哦！

我需要解析可能无效或包含一些错误的 udp 数据包。我想在字节到字符串转换后用 . 替换无效字符，以显示数据包的内容。

我该怎么做？这是我的代码：

func main() {
   a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}
   s := string(a)
   s = strings.Replace(s, string(0xFFFD), ".", 0)

   fmt.Println("s: ", s) // I would like to display "a..b."
   for _, r := range s {
      fmt.Println("r: ", r)
   }
   rs := []rune(s)
   fmt.Println("rs: ", rs)
}

正确答案

您的方法的根本问题在于，将 []byte 类型转换为 string 的结果中不包含任何 u+fffds：此类型转换仅逐字地将字节从源复制到目标。
就像字节切片一样，go 中的字符串不必包含 utf-8 编码的文本；它们可以包含任何数据，包括与文本无关的不透明二进制数据。

但对字符串的某些操作（即 type-converting them to []rune 和 iterating over them using range）确实会将字符串解释为 utf-8 编码的文本。 这正是您被绊倒的地方：您的 range 调试循环尝试解释该字符串，并且每次尝试解码正确编码的代码点失败时，range 都会生成一个替换字符 u+fffd。 重申一下，通过类型转换获得的字符串不包含您想要用正则表达式替换的字符。

至于如何从数据中实际生成有效的 utf-8 编码字符串，您可以采用两步过程：

1. 将字节切片类型转换为字符串 - 就像您已经做的那样。
2. 使用任何将字符串解释为 utf-8 的方法，替换 u+fffd，u+fffd 将在迭代过程中动态出现。

类似这样的事情：

var sb strings.builder
for _, c := range string(b) {
  if c == '\ufffd' {
    sb.writebyte('.')
  } else {
    sb.writerune(c)
  }
}
return sb.string()

关于性能的说明：由于将 []byte 类型转换为 string 会复制内存（因为字符串是不可变的，而切片则不然），类型转换的第一步可能会浪费处理大块的代码的资源数据和/或在紧密的处理循环中工作。
在这种情况下，可能值得使用适用于字节片的 DecodeRune function of the encoding/utf8 package。 其文档中的示例可以轻松地适应上面的循环。

另请参阅：Remove invalid UTF-8 characters from a string

@kostix 答案是正确的，并且非常清楚地解释了从字符串中扫描 unicode 符文的问题。

只需添加以下注释：如果您的目的是仅查看 ascii 范围内的字符（可打印字符 < 127）并且您并不真正关心其他 unicode 代码点，那么您可以更直白：

// create a byte slice with the same byte length as s
var bs = make([]byte, len(s))

// scan s byte by byte :
for i := 0; i < len(s); i++ {
    switch {
    case 32 <= s[i] && s[i] <= 126:
        bs[i] = s[i]

    // depending on your needs, you may also keep characters in the 0..31 range,
    // like 'tab' (9), 'linefeed' (10) or 'carriage return' (13) :
    // case s[i] == 9, s[i] == 10, s[i] == 13:
    //   bs[i] = s[i]

    default:
        bs[i] = '.'
    }
}


fmt.Printf("rs: %s\n", bs)

playground

此函数将为您提供接近 hexdump -c 的“文本”部分的内容。

今天关于《包含无效字符的字节到字符串转换》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！