无需预编译 Go 代码：将 protobuf 消息序列化为 JSON

哈喽！大家好，很高兴又见面了，我是golang学习网的一名作者，今天由我给大家带来一篇《无需预编译 Go 代码：将 protobuf 消息序列化为 JSON》，本文主要会讲到等等知识点，希望大家一起学习进步，也欢迎大家关注、点赞、收藏、转发! 下面就一起来看看吧！

我想将 protobuf 序列化消息转换为人类可读的 json 格式。我面临的主要问题是我需要在不事先将原型描述符编译成 go 代码的情况下执行此操作。我可以在运行时访问 .proto 文件，但不能在编译时访问。

我的印象是新的 protobuf api v2 (https://github.com/protocolbuffers/protobuf-go) 支持动态反序列化(参见包 types/dynamicpb)，但我不知道如何使用它显然：

func readDynamically(in []byte) {
    // How do I load the required descriptor (for NewMessage()) from my `addressbook.proto` file?)
    descriptor := ??

    msg := dynamicpb.NewMessage(descriptor)
    err := protojson.Unmarshal(in, msg)
    if err != nil {
        panic(err)
    }
}

上面的代码注释了我的问题：如何从 .proto 文件获取 dynamicpb.newmessage() 所需的描述符？

解决方案

对于 dynamicpb 包来说应该像这样工作。

func readdynamically(in []byte) {
    registry, err := createprotoregistry(".", "addressbook.proto")
    if err != nil {
        panic(err)
    }

    desc, err := registry.findfilebypath("addressbook.proto")
    if err != nil {
        panic(err)
    }
    fd := desc.messages()
    addressbook := fd.byname("addressbook")

    msg := dynamicpb.newmessage(addressbook)
    err = proto.unmarshal(in, msg)
    jsonbytes, err := protojson.marshal(msg)
    if err != nil {
        panic(err)
    }
    fmt.println(string(jsonbytes))
    if err != nil {
        panic(err)
    }
}

func createprotoregistry(srcdir string, filename string) (*protoregistry.files, error) {
    // create descriptors using the protoc binary.
    // imported dependencies are included so that the descriptors are self-contained.
    tmpfile := filename + "-tmp.pb"
    cmd := exec.command("./protoc/protoc",
        "--include_imports",
        "--descriptor_set_out=" + tmpfile,
        "-i"+srcdir,
        path.join(srcdir, filename))

    cmd.stdout = os.stdout
    cmd.stderr = os.stderr
    err := cmd.run()
    if err != nil {
        return nil, err
    }
    defer os.remove(tmpfile)

    marshalleddescriptorset, err := ioutil.readfile(tmpfile)
    if err != nil {
        return nil, err
    }
    descriptorset := descriptorpb.filedescriptorset{}
    err = proto.unmarshal(marshalleddescriptorset, &descriptorset)
    if err != nil {
        return nil, err
    }

    files, err := protodesc.newfiles(&descriptorset)
    if err != nil {
        return nil, err
    }

    return files, nil
}

这个问题有点意思。我已经在 protobuf 插头上做了一些工作。据我所知，需要额外的 cli，因为我们不想“重新发明轮子”。

第一步，我们需要 protoc 将“.proto”文件转换为某种格式，以便我们可以轻松获得“protoreflect.messagedescriptor”。

该插件用于获取原始字节，原始字节由 protoc 发送到其他插件作为输入。

package main

import (
    "fmt"
    "io/ioutil"
    "os"
)

func main() {
    if len(os.args) == 2 && os.args[1] == "--version" {
        // fmt.fprintf(os.stderr, "%v %v\n", filepath.base(os.args[0]), version.string())
        os.exit(0)
    }

    in, err := ioutil.readall(os.stdin)
    if err != nil {
        fmt.printf("error: %v", err)
        return
    }
    ioutil.writefile("./out.pb", in, 0755)
}

构建并重命名为protoc-gen-raw，然后生成protoc --raw_out=./pb ./server.proto，你将得到out.pb。从现在开始忘记你的“.proto”文件，并将这个“out.pb”放在你打算放置“.proto”的地方。我们得到的是这个 .pb 文件的官方支持。

第 2 步：将 protobuf 序列化消息反序列化为 json。

package main

import (
    "fmt"
    "io/ioutil"

    "google.golang.org/protobuf/proto"
    "google.golang.org/protobuf/compiler/protogen"
    "google.golang.org/protobuf/encoding/protojson"
    "google.golang.org/protobuf/types/dynamicpb"
    "google.golang.org/protobuf/types/pluginpb"
)

func main() {
    in, err := ioutil.ReadFile("./out.pb")
    if err != nil {
        fmt.Printf("failed to read proto file: %v", err)
        return
    }
    req := &pluginpb.CodeGeneratorRequest{}
    if err := proto.Unmarshal(in, req); err != nil {
        fmt.Printf("failed to unmarshal proto: %v", err)
        return
    }
    gen, err := protogen.Options{}.New(req)
    if err != nil {
        fmt.Printf("failed to create new plugin: %v", err)
        return
    }

    // serialize protobuf message "ServerConfig"
    data := &ServerConfig{
        GameType: 1,
        ServerId: 105,
        Host:     "host.host.host",
        Port:     10024,
    }
    raw, err := data.Marshal()
    if err != nil {
        fmt.Printf("failed to marshal protobuf: %v", err)
        return
    }

    for _, f := range gen.Files {
        for _, m := range f.Messages {

            // "ServerConfig" is the message name of the serialized message
            if m.GoIdent.GoName == "ServerConfig" {
                // m.Desc is MessageDescriptor
                msg := dynamicpb.NewMessage(m.Desc)
                // unmarshal []byte into proto message
                err := proto.Unmarshal(raw, msg)
                if err != nil {
                    fmt.Printf("failed to Unmarshal protobuf data: %v", err)
                    return
                }
                // marshal message into json
                jsondata, err := protojson.Marshal(msg)
                if err != nil {
                    fmt.Printf("failed to Marshal to json: %v", err)
                    return
                }
                fmt.Printf("out: %v", string(jsondata))
            }
        }
    }
}
// the output is:
// out: {"gameType":1, "serverId":105, "host":"host.host.host", "port":10024}

今天关于《无需预编译 Go 代码：将 protobuf 消息序列化为 JSON》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！