将int数组转换为byte数组，压缩然后反转

小伙伴们对Golang编程感兴趣吗？是否正在学习相关知识点？如果是，那么本文《将int数组转换为byte数组，压缩然后反转》，就很适合你，本篇文章讲解的知识点主要包括。在之后的文章中也会多多分享相关知识点，希望对大家的知识积累有所帮助！

我有一个大的 int 数组，我想将其保留在文件系统上。我的理解是存储此类内容的最佳方法是使用 gob 包将其转换为字节数组，然后使用 gzip 对其进行压缩。 当我再次需要它时，我会反转该过程。我很确定我正确存储了它，但是恢复它失败并出现 eof。长话短说，我下面有一些示例代码来演示这个问题。 （演示链接在这里 https://play.golang.org/p/v4rggevklnh）。 我不相信 gob 是必需的，但是阅读周围似乎将其存储为字节数组比 int 数组更有效，但这可能不是真的。谢谢！

package main

import (
    "bufio"
    "bytes"
    "compress/gzip"
    "encoding/gob"
    "fmt"
)

func main() {
    arry := []int{1, 2, 3, 4, 5}
    //now gob this
    var indexBuffer bytes.Buffer
    writer := bufio.NewWriter(&indexBuffer)
    encoder := gob.NewEncoder(writer)
    if err := encoder.Encode(arry); err != nil {
        panic(err)
    }
    //now compress it
    var compressionBuffer bytes.Buffer
    compressor := gzip.NewWriter(&compressionBuffer)
    compressor.Write(indexBuffer.Bytes())
    defer compressor.Close()
    //<--- I think all is good until here

    //now decompress it
    buf := bytes.NewBuffer(compressionBuffer.Bytes())
    fmt.Println("byte array before unzipping: ", buf.Bytes())
    if reader, err := gzip.NewReader(buf); err != nil {
        fmt.Println("gzip failed ", err)
        panic(err)
    } else {
        //now ungob it...
        var intArray []int
        decoder := gob.NewDecoder(reader)
        defer reader.Close()
        if err := decoder.Decode(&intArray); err != nil {
            fmt.Println("gob failed ", err)
            panic(err)
        }
        fmt.Println("final int Array content: ", intArray)
    }
}

解决方案

您正在使用 bufio.Writer，正如其名称所暗示的那样，它可以缓冲写入其中的字节。这意味着如果您正在使用它，则必须刷新它以确保缓冲的数据到达底层编写器：

writer := bufio.newwriter(&indexbuffer)
encoder := gob.newencoder(writer)
if err := encoder.encode(arry); err != nil {
    panic(err)
}
if err := writer.flush(); err != nil {
    panic(err)
}

尽管使用 bufio.writer 是完全没有必要的，因为您已经在写入内存缓冲区（bytes.Buffer），所以只需跳过它，直接写入 bytes.buffer （所以您甚至没有冲洗）：

var indexbuffer bytes.buffer
encoder := gob.newencoder(&indexbuffer)
if err := encoder.encode(arry); err != nil {
    panic(err)
}

下一个错误是如何关闭 gzip 流：

defer compressor.close()

只有当封闭函数（main() 函数）返回时才会发生这种延迟关闭，而不是早一秒。但那时您已经想要读取压缩数据，但它可能仍然位于 gzip.Writer 的内部缓存中，而不是位于 compressionbuffer 中，因此您显然无法从 compressionbuffer 中读取压缩数据。关闭 gzip 流而不使用 defer：

if err := compressor.close(); err != nil {
    panic(err)
}

通过这些更改，您可以运行程序并输出（在 Go Playground 上尝试一下）：

byte array before unzipping:  [31 139 8 0 0 0 0 0 0 255 226 249 223 200 196 200 244 191 137 129 145 133 129 129 243 127 19 3 43 19 11 27 7 23 32 0 0 255 255 110 125 126 12 23 0 0 0]
final int Array content:  [1 2 3 4 5]

^{作为旁注： buf := bytes.newbuffer(compressionbuffer.bytes()) – 这个 buf 也是完全没有必要的，你可以开始解码 compressionbuffer 本身，你可以从中读取之前的数据写入它。}

您可能已经注意到，压缩数据比初始压缩数据大得多。有几个原因：encoding/gob 和 compress/gzip 流都有很大的开销，并且它们（可能）只会在更大范围内使输入更小（5 个 int 数字不符合此条件）。

请查看相关问题：Efficient Go serialization of struct to disk

对于小型数组，您还可以考虑 variable-length encoding，请参阅 binary.PutVarint()。

今天关于《将int数组转换为byte数组，压缩然后反转》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！