使用 pprof 对 golang 程序进行分析发现 std/json 包中的 json.DecodeState 中的 objectInterface 内存增加

今天golang学习网给大家带来了《使用 pprof 对 golang 程序进行分析发现 std/json 包中的 json.DecodeState 中的 objectInterface 内存增加》，其中涉及到的知识点包括等等，无论你是小白还是老手，都适合看一看哦~有好的建议也欢迎大家在评论留言，若是看完有所收获，也希望大家能多多点赞支持呀！一起加油学习~

我有一个golang程序，它使用std“encoding/json”包中的unmarshall，其大小不断增加（内存泄漏）。使用 pprof 的内存配置图显示了 json (*decodestate) objectinterface 处的内存增加。我想了解解决该问题的方式和原因。

我在上层尝试了一些方法，例如释放返回值以避免泄漏，但没有成功。

func (j jsonencoding) from(b []byte, msg interface{}) (interface{}, error) {
    err := json.unmarshal(b, &msg)
    return msg, err
}

pprof top5 显示此调用以及下面的详细信息；

4096.89kB 24.43% 24.43%  4096.89kB 24.43%  encoding/json.(*decodeState).objectInterface

(pprof) list objectInterface
Total: 20.65MB
ROUTINE ======================== encoding/json.(*decodeState).objectInterface in /usr/local/go/src/encoding/json/decode.go
       6MB     7.50MB (flat, cum) 36.32% of Total
         .          .   1061:   return v
         .          .   1062:}
         .          .   1063:
         .          .   1064:// objectInterface is like object but returns map[string]interface{}.
         .          .   1065:func (d *decodeState) objectInterface() map[string]interface{} {
       3MB        3MB   1066:   m := make(map[string]interface{})
         .          .   1067:   for {
         .          .   1068:       // Read opening " of string key or closing }.
.
. deleted code
.
         .          .   1095:
         .          .   1096:       // Read value.
       3MB     4.50MB   1097:       m[key] = d.valueInterface()

使用 topn 并使用可视化，我可以看到这个框随着时间/处理而增加。

此解组在循环中调用，但没有保存任何可能导致泄漏的原因。我不知道如何以及采取什么措施来避免这种泄漏。

更新： 内存泄漏更多的是在其他地方的代码中的内存累积。在尝试编写显示问题的最小代码时，我无法重现，并且不得不挖掘所有代码以发现内部库正在使用映射来缓存并且缓存清理器无法正常工作。 p>

我的问题是 pprof 提供了有关谁在分配的信息，但没有提供其保存位置的信息。我想我的问题应该是，我们如何找出哪些对象具有多大的引用。我知道一个分配的引用可能位于多个位置，但此类信息可以轻松帮助找到此类问题。

解决方案

问：你为什么不做这样的事情：

https://golang.org/pkg/encoding/json/

func (a *Animal) UnmarshalJSON(b []byte) error {
    var s string
    if err := json.Unmarshal(b, &s); err != nil {
        return err
    }
    switch strings.ToLower(s) {
    default:
        *a = Unknown
    case "gopher":
        *a = Gopher
    case "zebra":
        *a = Zebra
    }

    return nil
}

换句话说，您的实现是否会阻止对象（例如“err”）被垃圾收集？

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。