将数据写入内存中的 AWS S3，使用 bufio.Writer 和 gzip.Writer

对于一个Golang开发者来说，牢固扎实的基础是十分重要的，golang学习网就来带大家一点点的掌握基础知识点。今天本篇文章带大家了解《将数据写入内存中的 AWS S3，使用 bufio.Writer 和 gzip.Writer》，主要介绍了，希望对大家的知识积累有所帮助，快点收藏起来吧，否则需要时就找不到了！

我正在尝试从内存写入压缩文件并上传到 s3。

我正在将大量 type 数据结构 序列化到 bufio.writer 中，该 gzip.writer 以逐行方式写入：

### data and serialization

type data struct {
  field_1 int
  field_2 string
}

func (d *data) serialize() []byte {
  return []byte( fmt.sprintf(`%d;%s\n`, d.field_1, d.field_2) )
}

### create file as compressed bytes

var datas []*data   // assume this is filled

buffer := &bytes.buffer{}
compressor := gzip.newwriter(buffer)
writer := bufio.newwriter(compressor)

for _, data := range datas {
  writer.write(data.serialize())
}

writer.flush()
compressor.close()

### upload compressed file to s3

key := "file.gz"
payload := bytes.newreader(buffer.bytes())

upload := &s3.putobjectinput{
  body:   payload,
  bucket: aws.string(bucket),
  key:    aws.string(key),
}

这很有效，看起来很快而且有些高效。

但是，生成的文件虽然在 linux 下被视为文本文件，但不支持通过 \n 添加的换行符。不确定这是否是操作系统特定问题、通过某种方式定义文件类型的问题（例如使用以 file.txt.gz 或 file.csv.gz 结尾的文件格式，或通过添加特定标头字节）或问题我首先创建这些文件的方式。

创建完全限定的内存文件类型作为 []byte （或一般在 io.readseeker 接口内）上传到 s3 的正确方法是什么，最好逐行时尚？

更新：

我能够通过将字符串包装在对 fmt.sprintln 的调用中来解决这个问题：

func (d *Data) Serialize() []byte {
  return []byte( fmt.Sprintln(fmt.Sprintf(`%d;%s`, d.field_1, d.field_2) )
}

在查看 fmt.sprintln 的实现时，它附加了 \n 符文 - 一定存在我不知道的细微差别。

正确答案

替换

`%d;%s\n`

与

"%d;%s\n"

`%d;%s\n` 是原始字符串文字。在原始字符串文字中，反斜杠没有特殊含义。请参阅语言规范中的 String literals：

原始字符串文字是反引号之间的字符序列，如“foo”。引号内可以出现除反引号之外的任何字符。原始字符串文字的值是由引号之间的未解释（隐式 utf-8 编码）字符组成的字符串；特别是，反斜杠没有特殊含义，并且字符串可能包含换行符。

今天关于《将数据写入内存中的 AWS S3，使用 bufio.Writer 和 gzip.Writer》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！