处理协议缓冲区数据时，调用 proto.Unmarshal 时出错：字符串字段包含非法的 UTF-8 编码

偷偷努力，悄无声息地变强，然后惊艳所有人！哈哈，小伙伴们又来学习啦~今天我将给大家介绍《处理协议缓冲区数据时，调用 proto.Unmarshal 时出错：字符串字段包含非法的 UTF-8 编码》，这篇文章主要会讲到等等知识点，不知道大家对其都有多少了解，下面我们就一起来看一吧！当然，非常希望大家能多多评论，给出合理的建议，我们一起学习，一起进步！

我正在开发一个使用 protocol buffers 的 go 应用程序，在使用 proto.unmarshal 反序列化数据时遇到问题。我收到的具体错误消息是“字符串字段包含无效的 utf-8”。

这是我的反序列化代码：

import (
    "github.com/example/pb" // import the package containing the protocol buffers definition.
    "google.golang.org/protobuf/proto"
)

func deserializedata(res_data *pb.responsedata) (*pb.notfnmessg, error) {
    notfnmessg := &pb.notfnmessg{}

    err := proto.unmarshal(res_data.payload.getserializedmessage(), notfnmessg)
    if err != nil {
        applogger.logging().error("error unmarshalling the message: %v", err)
    }
    applogger.logging().info("%v, %v", notfnmessg, res_data.payload.getserializedmessage())
}

res_data.payload.getserializedmessage() 函数以字符串格式返回序列化消息数据。下面提供了res_data的内容作为演示。

以下是存储在 res_data 中的序列化数据的示例：

msg_hdr:{s_val:"CONFIG_GET_REP"}  payload:{payload_header:{s_val:"SUCCESS"}  serialized_message:"\n\xc3\x0b...<omitted for brevity>.../communication\n*\n\x05title\x12!\n\x17Pi Module ConfigurationZ\x06/title"}

如您所见，序列化消息包含二进制数据，包括字符串。看来其中一个字符串字段中可能存在无效的 utf-8 字符，导致反序列化失败。

我想知道如何正确处理此问题并成功反序列化数据，而不会遇到“字符串字段包含无效的 utf-8”错误。

任何有关如何在反序列化过程中处理无效 utf-8 字符的指导或建议将不胜感激。谢谢！

正确答案

反序列化 string 字段时，Go protobuf 代码 (and others) 验证字符串是否为 UTF-8。如果不是，您就会收到所看到的错误。

据我所知，解决此问题的最简单方法是编辑 .proto 并将 string 字段更改为 bytes，然后重新运行 protoc （或 buf 等）以重新生成 github.com/example/pb 。 string 和 bytes 字段为 wire compatible，区别在于输出类型。

这将为您提供 Go 中 []byte 形式的数据，然后您可以自己处理它（例如 strings.ToValidUTF8("a\xc5z", "") 根据 this answer）

到这里，我们也就讲完了《处理协议缓冲区数据时，调用 proto.Unmarshal 时出错：字符串字段包含非法的 UTF-8 编码》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！