第二次调用Python3中PyImport_ImportModule(name)会导致致命错误

在 macOS Catalina 10.15.4 系统中，使用 go-python3 库调用 Python 3 编写的算法时，第二次调用会引发致命错误。该错误源自 pyimport_importmodule 函数，导致运行时出现段错误。此问题与 Python 3 的 GIL（全局解释器锁）机制有关，该机制会限制同一时间只有一个线程访问 Python 解释器。解决方案是避免在 goroutine 中调用 Python 算法，或者使用 exec.Command 在子进程中运行 Python 脚本。

环境：

• macos（catalina 版本 10.15.4）
• python3.7.6
• go1.13.8

我想使用go-python3来调用python3编写的算法，但正如所描述的，当我第二次调用该算法时，会产生致命错误。从输出消息来看，似乎是 pyimport_importmodule 导致了此错误。

fatal error: unexpected signal during runtime execution
[signal sigsegv: segmentation violation code=0x1 addr=0xa pc=0x91256a3]

runtime stack:
runtime.throw(0x4967a75, 0x2a)
        /usr/local/go/src/runtime/panic.go:774 +0x72
runtime.sigpanic()
        /usr/local/go/src/runtime/signal_unix.go:378 +0x47c

goroutine 41 [syscall]:
runtime.cgocall(0x4637740, 0xc000063c18, 0x48a4660)
        /usr/local/go/src/runtime/cgocall.go:128 +0x5b fp=0xc000063be8 sp=0xc000063bb0 pc=0x4004d0b
github.com/datadog/go-python3._cfunc_pyimport_importmodule(0x8061d90, 0x0)
        _cgo_gotypes.go:3780 +0x4a fp=0xc000063c18 sp=0xc000063be8 pc=0x462c2fa
github.com/datadog/go-python3.pyimport_importmodule(0x49501f5, 0x8, 0x0)
        /users/zhao/go/pkg/mod/github.com/!data!dog/[email protected]/import.go:24 +0x87 fp=0xc000063c80 sp=0xc000063c18 pc=0x462e267
ppgserver/pkg/algo.importmodule(0x4964926, 0x26, 0x49501f5, 0x8, 0x1)
        /users/zhao/go/src/ppgserver/pkg/algo/ppg.go:42 +0x4cb fp=0xc000063d98 sp=0xc000063c80 pc=0x46332db
ppgserver/pkg/algo.calcpre(0xc0003560c0, 0xd, 0x0, 0x0)
....

这是示例代码。 pyimport_importmodule 的包装：

// importmodule will import python module from given directory
func importmodule(dir, name string) *python3.pyobject {
    fmt.println("python3.pyimport_importmodule before")
    sysmodule := python3.pyimport_importmodule("sys") // import sys
    fmt.println("python3.pyimport_importmodule success")
    path := sysmodule.getattrstring("path")           // path = sys.path
    ob := python3.pylist_getitem(path, 1)
    fmt.println("check:", python3.pyunicode_check(ob))
    fmt.println("path:", python3.pyunicode_asutf8(ob))
    fmt.println("sysmodule.getattrstring success")
    python3.pylist_insert(path, 0, python3.pyunicode_fromstring("/library/frameworks/python.framework/versions/3.7/lib/python3.7/site-packages"))
    python3.pylist_insert(path, 0, python3.pyunicode_fromstring(dir))
    fmt.println("after module insert:", python3.pyunicode_asutf8(python3.pylist_getitem(path, 0)))
    fmt.println("module name:", name)
    return python3.pyimport_importmodule(name) 
}

每次在 goroutine 中调用算法时。

func calcpre(datafilepath string) (sbpi int, dbpi int) {
    python3.py_initialize()
    if !python3.py_isinitialized() {
        fmt.println("error initializing the python interpreter")
        os.exit(1)
    }
    gstate = python3.pygilstate_ensure()
    fmt.println("py_initialize success")
    vbp := importmodule("/users/zhao/desktop/lab/ppython", "value_bp")
    fmt.println("importmodule success")

    b := vbp.getattrstring("estimate")
    fmt.printf("[func] b = %#v\n", b)
    bargs := python3.pytuple_new(1)
    python3.pytuple_setitem(bargs, 0, python3.pyunicode_fromstring(datafilepath))
    re := b.call(bargs, python3.py_none)
    sbp := python3.pytuple_getitem(re, 0)
    dbp := python3.pytuple_getitem(re, 1)
    defer func() {
        python3.py_finalize()
        fmt.println("python3.py_finalize()")
    }()
    sbpi = python3.pylong_aslong(sbp)
    dbpi = python3.pylong_aslong(dbp)
    python3.pygilstate_release(gstate)
    return
}

func calc(datafilepath string) {
    calcpre(datafilepath)
}

调用者示例如下：go calc("aaa.csv")。

要重现这一点，请使用上面的代码和上面的环境，将这些代码放入 goroutine 中，例如 go calc("aaa.csv")。为了简单起见，您可以删除算法部分，只保留骨架.

简单来说，您也可以使用此代码来重现此问题：

func CalcPre(dataFilePath string) (sbpI int, dbpI int) {
    python3.Py_Initialize()
    if !python3.Py_IsInitialized() {
        fmt.Println("Error initializing the python interpreter")
        os.Exit(1)
    }
    gstate = python3.PyGILState_Ensure()
    ImportModule("/Users/zhao/Desktop/lab/ppython", "value_bp")
    defer func() {
        python3.Py_Finalize()
        fmt.Println("python3.Py_Finalize()")
    }()
    
    return
}

解决方案

这里有一个选项可以达到相同的目的。 只需使用os/exec包~~~

1. 使用 exec.command 设置可执行二进制文件及其参数， 示例代码： cmd := exec.command("python3", "test.py", "./srcdata/aaa.csv")
2. 使用cmd.dir设置命令工作目录；
3. 使用 output := cmd.combinedoutput() 运行此命令并获取其标准输出信息；
4. 对 output 进行任何您想要的处理。

完整代码片段如下：

func Calc(dataFilePath string) (sI int, dI int) {
    cmd := exec.Command("python3", "test.py", "./srcdata/"+dataFilePath)
    cmd.Dir = "/Users/username/Desktop/lab/ppython"
    output, e := cmd.CombinedOutput()
    if e != nil {
        fmt.Println("Python Execution Error :", e)
    }
    result := string(output)
    strs := strings.Split(result, "\n")
    sI, e = strconv.Atoi(strs[0])
    dI, e = strconv.Atoi(strs[1])
    return
}

无论如何，这可以为我处理大多数跨语言操作。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《第二次调用Python3中PyImport_ImportModule(name)会导致致命错误》文章吧，也可关注golang学习网公众号了解相关技术文章。