内存消耗在 Base64 编码中的影响

目前golang学习网上已经有很多关于Golang的文章了，自己在初次阅读这些文章中，也见识到了很多学习思路；那么本文《内存消耗在 Base64 编码中的影响》，也希望能帮助到大家，如果阅读完后真的对你学习Golang有帮助，欢迎动动手指，评论留言并分享~

我在使用 golangs lib 编码/base64 的软件中遇到内存消耗问题

我的软件正在将视频文件分割为单独的图像，(gocv mat) 将它们转换为base64字符串并以json格式保存到文件中。

在测试过程中，我发现内存使用量不断增加，直到 oom-reaper 正在终止该进程。

对 pprof 的调查表明编码/base64 内存似乎堆积起来。

我在每个图像帧后做了 pprof 快照，并分配了内存 在 oom-reaper 终止进程之前不久，encoding/base64 从 976.89kb（扁平）上升到 4633.54kb（扁平）。

beginning:
      flat  flat%   sum%        cum   cum%
  976.89kb 32.29% 32.29%   976.89kb 32.29%  encoding/base64.(*encoding).encodetostring
  512.50kb 16.94% 49.23%   512.50kb 16.94%  runtime.allocm
  512.20kb 16.93% 66.15%   512.20kb 16.93%  runtime.malg
  512.05kb 16.92% 83.08%  1488.94kb 49.21%  runtime.main
     512kb 16.92%   100%      512kb 16.92%  time.resettimer (inline)
         0     0%   100%   976.89kb 32.29%  main.process

end:
showing nodes accounting for 6170.44kb, 100% of 6170.44kb total
      flat  flat%   sum%        cum   cum%
 4633.54kb 75.09% 75.09%  4633.54kb 75.09%  encoding/base64.(*encoding).encodetostring
 1024.41kb 16.60% 91.69%  1024.41kb 16.60%  runtime.malg
  512.50kb  8.31%   100%   512.50kb  8.31%  runtime.allocm
         0     0%   100%  4633.54kb 75.09%  main.process

列表显示了相应的代码：

(pprof) list encoding/base64
total: 2.95mb
routine ======================== encoding/base64.(*encoding).encodetostring in /usr/local/go/src/encoding/base64/base64.go
  976.89kb   976.89kb (flat, cum) 32.29% of total
         .          .    175:
         .          .    176:// encodetostring returns the base64 encoding of src.
         .          .    177:func (enc *encoding) encodetostring(src []byte) string {
         .          .    178:   buf := make([]byte, enc.encodedlen(len(src)))
         .          .    179:   enc.encode(buf, src)
  976.89kb   976.89kb    180:   return string(buf)
         .          .    181:}
         .          .    182:
         .          .    183:type encoder struct {
         .          .    184:   err  error
         .          .    185:   enc  *encoding

所以在我的 golang 代码中，相应的代码行是：

func Process(img gocv.Mat) ( myImage Images  ){

    detectImg, detectClass, detectBoxes := Detect(&net, 
                                           img.Clone(), 
                                           0.45, 0.5, 
                                           OutputNames, classes)
    defer detectImg.Close()

    // convert gocv.Mat to []bytes
    myImg , _ := detectImg.ToImage()
    myJPG := new(bytes.Buffer)
    jpeg.Encode(myJPG, myImg, &jpeg.Options{95})
    myBytes := myJPG.Bytes()


    // memory consuming
    encodedString := base64.StdEncoding.EncodeToString(myBytes)

// [...]

    return myImage

}

在“encodedstring”不堆积的情况下如何释放它的内存？ （更新：答案说这没有必要也不可能）

或者这可能不是我的编码错误，内存泄漏位于 lib base64 处？ （更新：答案表明情况肯定不是这样）

正确答案

我上面的问题完全错误。

base64 根本不是问题，它只是内存消耗最大的问题 显示在 pprof 上，导致我得出错误的结论：base64 是问题所在。

我猜 pprof 会告诉我所有内存消耗 我的 go 程序，包括 gocv。 gocv 是 opencv 的 c 包装器，但它的内存消耗对 pprof 不可见，因为它是 c 代码！ （我在问这个问题时并不知道）。 由于 pprof 未显示可见的内存消耗 go 的 c-wrapper 库使用的内存，例如 gocv。 内存消耗的很大一部分对于 golang 根本不可见。 所以 jimb 的帮助提示是：

看看你如何在 opencv 周围使用 go 包装器，你的内存 所关心的可能甚至都没有被 go 分配。在这种情况下 您确实需要确保所有内容都可能已关闭或发布 根据他们的文档，因为大部分工作已经完成 在 c++ 中，而不是 go。然而，即使你清洁得当，你 仍然需要了解您的内存限制并确保您 不要试图在任何给定点保存太多数据。

当我清理 gocv 对象时，内存消耗显着下降。我曾经关闭对象：

defer obj.close()

回答您的问题：

你不能也不需要。未使用的内存被“释放”。

不，包encoding/base64没有内存泄漏。 （您在垃圾收集语言的标准库中的一个简单函数中检测到内存泄漏的可能性是 0。）

指导您找到解决方案：

您的应用程序使用荒谬的内存量，但这是因为a）处理视频和图像内存匮乏，b）您似乎没有采取任何措施来保持低内存：例如您将整个图像编码为 bytes.buffer，然后将整个 bytes.buffer 编码为字符串，然后处理该字符串，依此类推。您可能应该将图像编码到流中，将此流编码为base64，并将该输出进一步流到其存储的位置。这在 go 中是完全无痛的，因为所有这些编码器都在 io.writer 上工作，可以很容易地链接起来。

到这里，我们也就讲完了《内存消耗在 Base64 编码中的影响》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！