Python调用Golang方法导致内存耗尽

在使用 Python 调用 Go 方法时，如果传递 JSON 字符串并使用解组操作，可能会遇到内存耗尽异常。此问题在通过普通 Go 运行时不会出现，表明异常与 Python 交互有关。经调查发现，问题出在解组 JSON 字符串时未正确类型转换，导致内存分配错误。将方法修改为接受 `*c.char` 指针类型并进行相应类型转换后，问题得以解决。在 Python 端，也需要将发送的 JSON 字符串转换为 `c_char_p` 类型。

我一直在关注这个 https://medium.com/learning-the-go-programming-language/calling-go-functions-from-other-languages-4c7d8bcc69bf

现在，我正在做的是：-

• 传递 json 字符串
• 将 json unmarshall 与 go 结构引用和字符串结合使用
• 执行业务逻辑和运营
• 将结构编组为 json 字符串
• 返回

现在，我面临的问题是通过 python 运行它时出现 out-of-memory 异常。如果我通过普通 go 运行它，那么效果很好。

此外，如果我不解组并正常初始化结构，那么我就不会遇到问题，并会返回一个 json 字符串。但我需要在两者之间传递结构化数据。

问题发生在 unmarshal 线路

func buildcrmlinkfromjson(jsonstring string) crmlinkbo {
    var crmlink crmlink = crmlink{}
    json.unmarshal([]byte(jsonstring), &crmlink)
    var clb = crmlinkbo{crmlink: crmlink}
    return clb
}

运行时错误是：

runtime: out of memory: cannot allocate 140328041390080-byte block (66781184 in use)
fatal error: out of memory

或

shauryas-macbook-pro:go-python-interfacing xuryax$ python pythonclient.py 
unexpected fault address 0x210c1a334
fatal error: fault
[signal sigsegv: segmentation violation code=0x1 addr=0x210c1a334 pc=0x1087b0c75]

最小再现： usego.go

package main

import (
    "encoding/json"
    "fmt"
)

import "c"

// data model

type customfield struct {
    field string `json:"field"`
    value string `json:"value"`
}

type persondetails struct {
    person_id string        `json:"person_id"`
    detail    []customfield `json:"detail"`
}

func new(pid string) persondetails {
    var p = persondetails{"hardcoded pid in go", []customfield{}}
    return p
}

func buildfromjson(jsonstring string) persondetails {
    var person_detail persondetails = persondetails{}
    json.unmarshal([]byte(jsonstring), &person_detail)
    return person_detail
}

func converttojson(p persondetails) string {
    fmt.println(p)
    var je, _ = json.marshal(p)
    return string(je)
}

func addvalue(p persondetails) persondetails {
    var custfield = customfield{"hardcoded field in go", "hardcoded value in gos"}
    p.detail = append(p.detail, custfield)
    return p
}

//export dojsonoperation
func dojsonoperation(jsonstring string) *c.char {
    var p = buildfromjson(jsonstring)
    p = addvalue(p)
    var nstr = converttojson(p)
    return c.cstring(nstr)
}

//export donormaloperation
func donormaloperation(jsonstring string) *c.char {
    var p = new(jsonstring)
    p = addvalue(p)
    var nstr = converttojson(p)
    fmt.println("before return: ", string(nstr))
    return c.cstring(nstr)
}

func main() {
    // do noting
    // var jsonstr = `{"person_id":"jsonid","detail":[{"field":"json passed field", "value":"json passed value"}]}`
}

pythonclient.py

from ctypes import *
import json

def main():
    lib = cdll.LoadLibrary("/Users/xuryax/work/repos/research/go-python-interfacing/usego.so")

    lib.DoJSONOperation.argtypes = [c_char_p]
    lib.DoJSONOperation.restype = c_char_p

    json_string = """{"person_id":"PythonJsonID","detail":[{"field":"json passed field", "value":"json passed value"}]}"""
    normal_pid = "Python ID"
    updated_json = lib.DoNormalOperation(normal_pid)

    print(updated_json)


if __name__=="__main__":
    main()

我发现奇怪的事情，如果我使用硬编码的它会返回指针（整数），但在我之前的实验中，我确实得到了一个字符串。

解决方案

实际上答案似乎很简单。这是我错过的类型转换问题。

该方法应接受 *c.char

//export DoJSONOperation
func DoJSONOperation(jsonString *C.char) *C.char {
    var GoString = C.GoString(jsonString)
    var p = BuildFromJSON(GoString)
    p = AddValue(p)
    var nstr = ConvertToJSON(p)
    return C.CString(nstr)
}

这似乎解决了问题。

在python中我们也需要类型转换。我们需要发送的不是发送 python 字符串。 c_char_p(jsonstring)

终于介绍完啦！小伙伴们，这篇关于《Python调用Golang方法导致内存耗尽》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！