当前位置：首页 > 文章列表 > Golang > Go问答 > 发送大型 JSON 数据给 Web 服务的方法

发送大型 JSON 数据给 Web 服务的方法

来源：stackoverflow 2024-02-28 08:21:24 0浏览收藏

本篇文章向大家介绍《发送大型 JSON 数据给 Web 服务的方法》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

问题内容

考虑一个小型 go 应用程序，它读取 2gb 以上的大型 json 文件，将 json 数据编组到结构中，并将 json 数据 post 到 web 服务端点。

接收负载的 web 服务更改了其功能，现在每个负载的限制为 25mb。使用 go 解决这个问题的最佳方法是什么？我想到了以下方法，但我不确定这是最好的方法：

创建一个函数，将大型 json 文件拆分为多个较小的文件（最多 20mb），然后迭代发送多个较小请求的文件。

与当前用于发送整个 json 负载的函数类似：

func sendDataToService(data StructData) {
    payload, err := json.Marshal(data)
    if err != nil {
        log.Println("ERROR:", err)
    }

    request, err := http.NewRequest("POST", endpoint, bytes.NewBuffer(payload))
    if err != nil {
        log.Println("ERROR:", err)
    }

    client := &http.Client{}
    response, err := client.Do(request)
    log.Println("INFORMATIONAL:", request)
    if err != nil {
        log.Println("ERROR:", err)
    }
    defer response.Body.Close()
}

正确答案

您可以将输入分成块并单独发送每个块：

dec := json.NewDecoder(inputStream)
tok, err := dec.Token()
if err != nil {
    return err
}
if tok == json.Delim('[') {
    for {
        var obj json.RawMessage
        if err := dec.Decode(&obj); err != nil {
            return err
        }
        // Here, obj contains one element of the array. You can send this
        // to the server.
        if !dec.More() {
            break
        }
    }
}

由于服务器端可以逐步处理数据，我假设大型 json 对象可以拆分为较小的部分。从这一点来看，我可以提出几种选择。

使用 http 请求

优点：在客户端实现非常简单。

缺点：发出数百个 http 请求可能会很慢。您还需要处理超时 - 这会增加复杂性。
使用 websocket 消息

如果接收方支持 websockets，分步流程将如下所示：
- 将输入数据分割成更小的部分。
- 连接到 websocket 服务器。
- 开始发送较小片段的消息，直到文件末尾。
- 关闭与服务器的连接。
此解决方案的性能可能会更高，因为您无需像使用 http 那样在每次发送消息时都与服务器进行连接和断开连接。