流式编码struct对象在go中使用io.Reader

来到golang学习网的大家，相信都是编程学习爱好者，希望在这里学习Golang相关编程知识。下面本篇文章就来带大家聊聊《流式编码struct对象在go中使用io.Reader》，介绍一下，希望对大家的知识积累有所帮助，助力实战开发！

我需要将以下结构编码为 json 并输出到 io.writer 对象：

type Data struct {
    FieldA string    `json:"field_a"`
    FieldB int       `json:"field_b"`
    Rows   io.Reader `json:"rows"`
}

rows 是一个 io.reader 对象，它将以二进制格式返回一个可能非常大的 json 数组。我想避免将读取器的整个结果加载到内存中，因为这会带来延迟和高内存开销。 rows 保证是有效的 json，因此不必解码然后重新编码为 json，它可以按原样传递。

我的问题是标准库中的 json 包不支持定义 marshaljson 的流友好实现，它希望您将结果写入 []byte 缓冲区并返回它。

使用 json.newencoder(writer).encode(data) 几乎是我所需要的，但我无法为阅读器定义自定义行为，它只是返回 {} 。

有没有一种方法可以在不完全自定义 json 编码过程的情况下实现此目的？

正确答案

我选择了与其他答案类似的解决方案，但不需要手动序列化所有其他字段。

我这样定义数据：

type data struct {
    fielda string    `json:"field_a"`
    fieldb int       `json:"field_b"`
    rows   io.reader `json:"-"`
}

rows 字段的 json 标记中的 - 指示 go 应始终跳过将该字段编码到 json 输出中。编码函数如下所示：

func encode(d Data, writer io.Writer) error {
    buf, err := json.Marshal(d)
    if err != nil {
        return err
    }

    _, err = writer.Write(buf[:(len(buf) - 1)])
    if err != nil {
        return err
    }
    _, err = writer.Write([]byte(",\"rows\":"))
    if err != nil {
        return err
    }
    _, err = io.Copy(writer, req.Rows)
    if err != nil {
        return err
    }
    _, err = writer.Write([]byte("}"))
    if err != nil {
        return err
    }

    return nil
}

1. 我将对象按原样序列化到缓冲区中（但没有行）
2. 将除最后的右大括号之外的所有内容写入输出
3. 写入输出 ,"rows": 以指示新字段
4. 将行读取器复制到输出写入器
5. 将最终的 } 写入输出

它工作得很好，一个带有 gin web 服务器的端到端 poc 使用大约 35mb 的内存从 s3 中获取代表行的对象的读取器，使用 zstd 对其进行解压缩，并将其直接序列化到杜松子酒输出作家。 even 的工作速度比在内存中完成整个事情要快得多，因为它可以立即开始返回数据，因为它不必等待整个事情被解码到内存中然后重新编码。

如果有人感兴趣，可以在这里找到完整的 poc： https://github.com/theedgeofrage/streaming-poc

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。