发送大型 JSON 数据给 Web 服务的方法

本篇文章向大家介绍《发送大型 JSON 数据给 Web 服务的方法》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

考虑一个小型 go 应用程序，它读取 2gb 以上的大型 json 文件，将 json 数据编组到结构中，并将 json 数据 post 到 web 服务端点。

接收负载的 web 服务更改了其功能，现在每个负载的限制为 25mb。使用 go 解决这个问题的最佳方法是什么？我想到了以下方法，但我不确定这是最好的方法：

1. 创建一个函数，将大型 json 文件拆分为多个较小的文件（最多 20mb），然后迭代发送多个较小请求的文件。

与当前用于发送整个 json 负载的函数类似：

func sendDataToService(data StructData) {
    payload, err := json.Marshal(data)
    if err != nil {
        log.Println("ERROR:", err)
    }

    request, err := http.NewRequest("POST", endpoint, bytes.NewBuffer(payload))
    if err != nil {
        log.Println("ERROR:", err)
    }

    client := &http.Client{}
    response, err := client.Do(request)
    log.Println("INFORMATIONAL:", request)
    if err != nil {
        log.Println("ERROR:", err)
    }
    defer response.Body.Close()
}

正确答案

您可以将输入分成块并单独发送每个块：

dec := json.NewDecoder(inputStream)
tok, err := dec.Token()
if err != nil {
    return err
}
if tok == json.Delim('[') {
    for {
        var obj json.RawMessage
        if err := dec.Decode(&obj); err != nil {
            return err
        }
        // Here, obj contains one element of the array. You can send this
        // to the server.
        if !dec.More() {
            break
        }
    }
}

由于服务器端可以逐步处理数据，我假设大型 json 对象可以拆分为较小的部分。从这一点来看，我可以提出几种选择。

1. 使用 http 请求

   优点：在客户端实现非常简单。

   缺点：发出数百个 http 请求可能会很慢。您还需要处理超时 - 这会增加复杂性。

2. 使用 websocket 消息

   如果接收方支持 websockets，分步流程将如下所示：

   • 将输入数据分割成更小的部分。
   • 连接到 websocket 服务器。
   • 开始发送较小片段的消息，直到文件末尾。
   • 关闭与服务器的连接。

   此解决方案的性能可能会更高，因为您无需像使用 http 那样在每次发送消息时都与服务器进行连接和断开连接。

但是，这两种解决方案都假设您需要在服务器端组装所有部分。例如，您可能需要随数据一起发送相关 id，让服务器知道您现在正在发送什么文件以及特定的文件结束消息 > 让服务器知道文件何时结束。对于 websocket 服务器，您可以假设整个文件是在单个连接会话期间发送的（如果相关的话）。

终于介绍完啦！小伙伴们，这篇关于《发送大型 JSON 数据给 Web 服务的方法》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！