使用Base64编码的Docker (Moby) golang镜像构建日志

有志者，事竟成！如果你在学习Golang，那么本文《使用Base64编码的Docker (Moby) golang镜像构建日志》，就很适合你！文章讲解的知识点主要包括，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

我正在寻求帮助，从使用 docker 客户端库的基于 golang 的客户端发送的 dockerd (buildkit/moby) 映像构建请求中提取映像构建日志。

我可以请求图像构建良好并接收 json 消息的日志流，然后将它们解码为 jsonmessage 实例。但来自构建器的实际日志行似乎是在每个 json 消息的 aux 字段中进行 base64 编码的。

我可以很容易地解码base64，但它们似乎包含奇怪的终端控制字符和可能错误编码的数据，这让我想知道它们是否实际上是我应该解包的某种结构的base64编码.

令我困惑的是，在显示 docker buildx build 的构建进度时处理日志时，我在 docker-ce 或 moby 代码中找不到任何似乎对“aux”有效负载进行 base64 解码的内容。

据我所知，buildx 代码不会对 aux 有效负载执行任何特殊操作：https://github.com/docker/docker-ce/blob/523cf7e71252013fbb6a590be67a54b4a88c1dae/components/cli/cli/command/图片/build_buildkit.go#l325

例如，精简的构建代码如下：

image := image{name:      "test"}
        contextreader, err := archive.tarwithoptions(buildconf.build.context, &archive.taroptions{})
        if err != nil {
                return err
        }
        imagebuildresponse, err := b.client.imagebuild(
                ctx,
                contextreader,
                types.imagebuildoptions{
                      version:     types.builderbuildkit,
                      context:     contextreader,
                      dockerfile:  dockerfile,
                })
        if err != nil {
                return err
        }
        defer imagebuildresponse.body.close()


        buf := bytes.newbuffer(nil)

        imageid := ""
        writeaux := func(msg jsonmessage.jsonmessage) {
                if msg.id == "moby.image.id" {
                        var result types.buildresult
                        if err := json.unmarshal(*msg.aux, &result); err != nil {
                            panic("don't do this in your real code")
                        }
                        imageid = result.id
                        return
                }
                return err
        }

        err := jsonmessage.displayjsonmessagesstream(imagebuildresponse.body, buf, os.stderr.fd(), false /* not terminal */, writeaux)
        if err != nil {
                if jerr, ok := err.(*jsonmessage.jsonerror); ok {
                        // if no error code is set, default to 1
                        if jerr.code == 0 {
                                jerr.code = 1
                        }
                        return fmt.errorf("error while building image: %s", jerr.message)
                }
        }

将像这样将 json 有效负载写入 stderr

{"id":"moby.buildkit.trace","aux":"cn0kr3noyti1njozzthhmzmxymrkzgfjnwzkymnjogvhmdfmywfhymm3mja0mdkwmmywnjdmyzrhogy0ndjmmmizywvln2rkngiygirbaw50zxjuywxdigxvywqgcmvtb3rligj1awxkignvbnrlehqqdaiyw8kabhcykpcqag=="}
{"id":"moby.buildkit.trace","aux":"cokbckdzageynty6m2u4ytmzmwjkzgrhyzvmzgjjyzhlytaxzmfhywjjnziwnda5mdjmmdy3zmm0ythmndqyzjjim2flztdkzdrimhokw2ludgvybmfsxsbsb2fkihjlbw90zsbidwlszcbjb250zxh0kgwimmpcmgyqspkqqgiycgizw8kabhd08f0="}

这里的 base64 字符串不会解码为有效的 utf-8，并且它们作为 iso-8859-1 也没有意义。例如。使用 utf-8 控制台编码：

$ base64 -d <<<'Cn0KR3NoYTI1NjozZThhMzMxYmRkZGFjNWZkYmNjOGVhMDFmYWFhYmM3MjA0MDkwMmYwNjdmYzRhOGY0NDJmMmIzYWVlN2RkNGIyGiRbaW50ZXJuYWxdIGxvYWQgcmVtb3RlIGJ1aWxkIGNvbnRleHQqDAiYw8KaBhCykpCqAg=='

}
Gsha256:3e8a331bdddac5fdbcc8ea01faaabc72040902f067fc4a8f442f2b3aee7dd4b2�$[internal] load remote build context*
                                                                                                              ������

它看起来可能是一个结构，但我一生都找不到解码和处理它的东西。

正确答案

所以我当然在写这个问题时找到了答案......

build_buildkit.go 中的 writeaux 函数调用 the write method of a tracer instance，这才是真正的工作。我一定是瞎了。

这些消息是来自 github.com/moby/buildkit/api/services/control 包的 statusresponse 的序列化实例。它们从 base64 解码的字节序列中解组并进行检查。如果您想要日志并跳过其他所有内容，只需查找具有非空 logs 成员数组的实例，例如在上面的 writeaux 函数中是这样的：

} else if msg.ID == "moby.buildkit.trace" {
                        // Process the message like
                        // https://github.com/docker/docker-ce/blob/523cf7e71252013fbb6a590be67a54b4a88c1dae/components/cli/cli/command/image/build_buildkit.go#L386
                        // the 'tracer.write' method in build_buildkit.go
                        var resp controlapi.StatusResponse
                        var dt []byte
                        // ignoring all messages that are not understood
                        if err := json.Unmarshal(*msg.Aux, &dt); err != nil {
                                return
                        }
                        if err := (&resp).Unmarshal(dt); err != nil {
                                return
                        }
                        for _, v := range resp.Vertexes {
                                fmt.Printf("layer: %+v", v)
                        }
                        for _, v := range resp.Statuses {
                                fmt.Printf("status: %+v", v)
                        }
                        for _, v := range resp.Logs {
                                fmt.Printf("log: msg.Msg)
                        }
                  }

json.unmarshal 和 controlapi.statusresponse.unmarshal 为您进行 base64 解码和解包。

今天关于《使用Base64编码的Docker (Moby) golang镜像构建日志》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！