从 Python ctypes 调用 Go 字符串函数会导致段错误

IT行业相对于一般传统行业，发展更新速度更快，一旦停止了学习，很快就会被行业所淘汰。所以我们需要踏踏实实的不断学习，精进自己的技术，尤其是初学者。今天golang学习网给大家整理了《从 Python ctypes 调用 Go 字符串函数会导致段错误》，聊聊，我们一起来看看吧！

我有一个名为 test.go 的模块，其中包含两个接受字符串类型的简单 go 函数：

package main

import (
  "fmt"
  "c"
)

//export testconcat
func testconcat(testarg string, testarg2 string) (string) {
  retval := testarg + testarg2
  return retval
}

//export testhello
func testhello(testarg string) {
  fmt.println("%v\n", testarg)
}


func main(){}

我使用 go build -o test.so -buildmode=c-shared test.go 将其编译为共享库

然后我有一个名为 test.py 的 python 模块

import ctypes

from ctypes import cdll


test_strings = [
    "teststring1",
    "teststring2"
]

if __name__ == '__main__':
    lib = cdll.loadlibrary("./test.so")
    lib.testconcat.argtypes = [ctypes.c_wchar_p, ctypes.c_wchar_p]
    lib.testhello.argtypes = [ctypes.c_wchar_p]
    for test_string in test_strings:
        print(
            lib.testconcat("hello", test_string)
        )
        lib.testhello(test_string)

然后我运行 test.py 并得到一个令人讨厌的段错误

runtime: out of memory: cannot allocate 279362762964992-byte block (66781184 in use)
fatal error: out of memory

我尝试将参数包装在 ctypes.c_wchar_p 中，但无济于事。

我在这里做错了什么？具体来说，如何与 python 中接受字符串参数的 go 函数进行交互？

解决方案

go 的 string 类型实际上类似于

type string {
    ptr *byte
    size int
}

这就是 test{hello|concat} 实际期望的——不是一对指针，而是一对 struct 类型的值。
换句话说，cgo 执行了足够的魔法来网关调用从 go 到 c 并返回，但它不执行值的自动转换。

您有两个选择：

• 如果可能，请从您的 ctypes 绑定中显式使用此内容。
  编译包时，cgo 会生成一个头文件，其中包含表示 go 字符串的结构体的 c 定义；您可以立即使用它。

• 使导出到 c 的函数与 c 的“类型系统”兼容。
  为此，cgo提供helper functions C.CString and C.GoString。
  基本上，您可以像这样定义 api：

  func TestHello(a, b *C.char) *C.char {
      testArg1, testArg2 := C.GoString(a), C.GoString(b)
      return C.CString(testArg + TestArg2)
  }
  

  请注意这里的一些注意事项：

  • 这两个助手都会复制其参数的内存，因此上面的愚蠢示例可以正常工作，但它会首先复制 a 和 b 指向的内存块，然后消耗两倍的内存来生成连接的字符串然后再次复制结果字符串的内存以生成返回的指针。
    iow，如果您尝试将 go 代码的一些大块导出到 c，这样这些分配与该块所做的任何事情相比都相形见绌，那么这种方法就很好。
  • 使用 *c.char 与 c 中的 *char 相同，因此字符串预计以 nul 结尾；如果不是，请使用 c.gostringn。
  • 由 c.cstring 分配的每个内存块都必须通过调用 c.free 来释放。这里有一个转折： c.free 基本上是一个薄垫片，用于从 libc 中的链接调用 free() ，因此，如果您可以保证完整的产品（代码完全加载到内存中并使用动态链接器（相互）链接）仅链接了 libc 的单个副本，您可以从 go 代码中调用 c.cstring 生成的内存块上的非 go 代码中调用 free() 。

更多一些随机指针：

• 我不太熟悉python的ctypes，但我推测使用ctypes.c_wchar_p是不正确的：在c（和c++，fwiw）中，wchar_t是一种表示单个固定大小的类型 em>“宽字符”，通常是 UCS-2/UTF-16 代码点，go 的字符串不是由这些组成的——它们可能包含任意字节，当它们用于包含 unicode 文本时，它们会被编码使用 UTF-8，这是一种多字节编码（单个 unicode 代码点可以由字符串中的 1 到 4 个字节表示）。
  无论哪种情况，wchar_t 都不能用于 utf-8（实际上是 many seasoned devs beleive it's an abomination）。
• 在开始此项目之前，请完整地阅读 the docs on cmd/cgo。真的，请这样做！

理论要掌握，实操不能落！以上关于《从 Python ctypes 调用 Go 字符串函数会导致段错误》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！