为什么在 aws-sdk-go 中动态设置文件大小并存储在内存中时 getObject 调用时间更长？

当通过 Fargate 任务从 Amazon S3 下载文件时，动态设置文件大小并将其存储在内存中会延长 `getObject` 调用的时间。通过测试，发现下载 6MB 文件的时间比预期的 600 毫秒长。调整代码以预先获取文件大小，并根据该大小分配缓冲区，可以显著减少下载时间，使其与线性增长模型一致。

根据我的测试，当通过 Fargate 任务从 s3 下载 6 MB 文件时，大约需要 1.3 秒。然而，1.7 MB 的文件需要 150 毫秒才能完成。假设线性增长，6MB 最多应该花费 600 毫秒左右。但事实并非如此。

buff := aws.NewWriteAtBuffer([]byte{}))
getObjectInput := &s3.GetObjectInput{
    Bucket: aws.String(bucket),
    Key:    aws.String(uri),
}
, err = u.downloader.DownloadWithContext(ctx, buff, getObjectInput)

我花了几个小时尝试调试我的服务，发现这组代码并没有基于此占用大量内存。 https://github.com/aws/aws-sdk-go/issues/3085

为了纠正这个问题并使用更少的内存，我将代码更改为这样。

getHeaderInput := &s3.HeadObjectInput{
    Bucket: aws.String(bucket),
    Key:    aws.String(uri),
}
res, _:= u.s3.HeadObject(getHeaderInput)
buff := aws.NewWriteAtBuffer(make([]byte, 0, *res.ContentLength))
getObjectInput := &s3.GetObjectInput{
    Bucket: aws.String(bucket),
    Key:    aws.String(uri),
}
, err = u.downloader.DownloadWithContext(ctx, buff, getObjectInput)

我发现下载时间也减少了，下载 6MB 文件时代码的整体持续时间也更短，大约是 600 毫秒，这是基于线性增长的时间。

正确答案

缓冲区切片 []byte{} 或等效的 make([]byte, 0, 0) 按摊销时间追加。

缓冲区切片 make([]byte, 0, *res.ContentLength) 以线性时间追加。

BenchmarkAmortized-12  100  10361800 ns/op  33249829 B/op  31 allocs/op
BenchmarkLinear-12     710   1612166 ns/op   6291461 B/op   1 allocs/op

package main

import "testing"

func BenchmarkAmortized(b *testing.B) {
    var src = make([]byte, 6*1024*1024)
    b.ResetTimer()
    for i := 0; i < b.N; i++ {
        var dst = make([]byte, 0, 0)
        for len(dst) < len(src) {
            dst = append(dst, src[len(dst):len(dst)+1024]...)
        }
    }
}

func BenchmarkLinear(b *testing.B) {
    var src = make([]byte, 6*1024*1024)
    b.ResetTimer()
    for i := 0; i < b.N; i++ {
        var dst = make([]byte, 0, len(src))
        for len(dst) < len(src) {
            dst = append(dst, src[len(dst):len(dst)+1024]...)
        }
    }
}

Go 博客：数组、切片（和字符串）：“追加”机制

本篇关于《为什么在 aws-sdk-go 中动态设置文件大小并存储在内存中时 getObject 调用时间更长？》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于Golang的相关知识，请关注golang学习网公众号！