AWS S3 下载器遇到内存不足问题

各位小伙伴们，大家好呀！看看今天我又给各位带来了什么文章？本文标题是《AWS S3 下载器遇到内存不足问题》，很明显是关于Golang的文章哈哈哈，其中内容主要会涉及到等等，如果能帮到你，觉得很不错的话，欢迎各位多多点评和分享！

我在使用 golang 客户端从 aws s3 存储桶下载大文件时遇到问题，我不是 golang 专家，因此我将不胜感激。

我正在创建一个简单的 api，它使用 gin-gonic 框架公开端点，当有人向该端点发送请求时，应用程序会从 aws s3 存储桶下载一个巨大的 csv 文件并将文件内容保存在本地数据库。

当文件大小为 200 mb 时，它可以正常工作，但对于更大的文件（例如 500 mb），我开始出现内存不足错误。

我使用这部分代码来创建会话并下载文件：

sess, _ := session.newsession(&aws.config{
    region: aws.string("us-west-2")},
)

downloader := s3manager.newdownloader(sess)

getinput := &s3.getobjectinput{
    bucket: aws.string("the bucket name"),
    key:    aws.string("the file path"),
}

buff := new(aws.writeatbuffer)

_, err := downloader.download(buff, getinput)

if err != nil {    
        return nil, errors.new(err, "error downloading file")
}

return buff.bytes(), nil

在这部分之后，我有一个服务可以接收字节并使用 golang csv 阅读器迭代文件内容：

csv.newreader(bytes.newreader(thebytes))

在读取器收到字节之前下载文件内容时会出现问题。

这是我得到的堆栈跟踪：

09:28:04.390    github.com/gin-gonic/gin.(*Engine).Run(0xc000318f00, 0xc00060ff68, 0x1, 0x1, 0x0, 0x0)
/go/pkg/mod/github.com/gin-gonic/[email protected]/gin.go:301 +0x14a
09:28:04.389    net/http.(*Server).ListenAndServe(0xc00017c000, 0xc00017c000, 0xc00060ff08)
/usr/local/go/src/net/http/server.go:2866 +0xb7
09:28:04.388    net/http.(*Server).Serve(0xc00017c000, 0x13512c0, 0xc000122780, 0x0, 0x0)
/usr/local/go/src/net/http/server.go:2937 +0x266
09:28:04.387    net.(*netFD).accept(0xc0001a9000, 0x173d6ba672b673f9, 0x0, 0x0)
/usr/local/go/src/net/fd_unix.go:172 +0x45
09:28:04.387    net.(*TCPListener).accept(0xc000122780, 0x6061c7c9, 0xc00046dd28, 0x4d5286)
/usr/local/go/src/net/tcpsock_posix.go:139 +0x32
09:28:04.387    net.(*TCPListener).Accept(0xc000122780, 0xc00046dd78, 0x18, 0xc000000180, 0x70beec)
/usr/local/go/src/net/tcpsock.go:261 +0x65
09:28:04.385    internal/poll.(*pollDesc).wait(0xc0001a9018, 0x72, 0x0, 0x0, 0x1170293)
/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x45
09:28:04.385    internal/poll.(*pollDesc).waitRead(...)
/usr/local/go/src/internal/poll/fd_poll_runtime.go:92
09:28:04.385    internal/poll.(*FD).Accept(0xc0001a9000, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
/usr/local/go/src/internal/poll/fd_unix.go:394 +0x1fc
09:28:04.384    github.com/aws/aws-sdk-go/service/s3/s3manager.(*downloader).tryDownloadChunk(0xc000399b00, 0xc0008be280, 0x133c320, 0xc000174300, 0x0, 0x0, 0x0)
/go/pkg/mod/github.com/aws/[email protected]/service/s3/s3manager/download.go:463 +0x189 fp=0xc0008bbe28 sp=0xc0008bbd80 pc=0xe48409
09:28:04.384    github.com/aws/aws-sdk-go/service/s3/s3manager.(*downloader).downloadChunk(0xc000399b00, 0x133c160, 0xc000dd0a50, 0x1c700000, 0x500000, 0x0, 0x0, 0x0, 0x0, 0x0)
/go/pkg/mod/github.com/aws/[email protected]/service/s3/s3manager/download.go:424 +0x236 fp=0xc0008bbee8 sp=0xc0008bbe28 pc=0xe480d6
09:28:04.384    runtime.goexit()
/usr/local/go/src/runtime/asm_amd64.s:1374 +0x1 fp=0xc0008bbfd8 sp=0xc0008bbfd0 pc=0x471461
09:28:04.384    internal/poll.runtime_pollWait(0x7f5414dee788, 0x72, 0x0)
/usr/local/go/src/runtime/netpoll.go:222 +0x55
09:28:04.384    io.copyBuffer(0x133c320, 0xc000174300, 0x133d9c0, 0xc000088080, 0xc00088e000, 0x8000, 0x8000, 0xc000b52d80, 0x0, 0x0)
/usr/local/go/src/io/io.go:411 +0x206 fp=0xc0008bbd80 sp=0xc0008bbd08 pc=0x47ea66
09:28:04.384    io.Copy(...)
/usr/local/go/src/io/io.go:368
09:28:04.384    github.com/aws/aws-sdk-go/service/s3/s3manager.(*downloader).downloadPart(0xc000399b00, 0xc000d98000)
/go/pkg/mod/github.com/aws/[email protected]/service/s3/s3manager/download.go:373 +0x14d fp=0xc0008bbfd0 sp=0xc0008bbee8 pc=0xe47b6d
09:28:04.384    github.com/aws/aws-sdk-go/service/s3/s3manager.(*dlchunk).Write(0xc000174300, 0xc00088e000, 0x400, 0x8000, 0x400, 0x0, 0x0)
/go/pkg/mod/github.com/aws/[email protected]/service/s3/s3manager/download.go:583 +0x72 fp=0xc0008bbd08 sp=0xc0008bbcb8 pc=0xe48d72
09:28:04.384    created by github.com/aws/aws-sdk-go/service/s3/s3manager.(*downloader).download
/go/pkg/mod/github.com/aws/[email protected]/service/s3/s3manager/download.go:317 +0x1f4
09:28:04.384    goroutine 1 [IO wait]:
09:28:04.383    runtime.sysMap(0xc0e0000000, 0x20000000, 0x19edcb8)
/usr/local/go/src/runtime/mem_linux.go:169 +0xc6
09:28:04.383    runtime.(*mheap).allocSpan(0x19d23a0, 0xe385, 0x400100, 0x19edcc8, 0xffffffff00000001)
/usr/local/go/src/runtime/mheap.go:1160 +0x6b6
09:28:04.383    runtime.systemstack(0x46f554)
/usr/local/go/src/runtime/asm_amd64.s:370 +0x66
09:28:04.383    runtime.mallocgc(0x1c7095fb, 0xfa59e0, 0x1, 0x0)
/usr/local/go/src/runtime/malloc.go:1070 +0x938 fp=0xc0008bbc20 sp=0xc0008bbb80 pc=0x40fab8
09:28:04.383    runtime.makeslice(0xfa59e0, 0x1c7095fb, 0x1c7095fb, 0xc0aa006000)
/usr/local/go/src/runtime/slice.go:98 +0x6c fp=0xc0008bbc50 sp=0xc0008bbc20 pc=0x45056c
09:28:04.383    runtime.throw(0x1180cb4, 0x16)
/usr/local/go/src/runtime/panic.go:1116 +0x72
09:28:04.383    runtime.(*mheap).alloc.func1()
/usr/local/go/src/runtime/mheap.go:907 +0x65
09:28:04.383    runtime.(*mheap).alloc(0x19d23a0, 0xe385, 0xc0008b0101, 0x19b9ca0)
/usr/local/go/src/runtime/mheap.go:901 +0x85
09:28:04.383    runtime.mstart()
/usr/local/go/src/runtime/proc.go:1116
09:28:04.383    runtime.systemstack_switch()
/usr/local/go/src/runtime/asm_amd64.s:330 fp=0xc0008bbb80 sp=0xc0008bbb78 pc=0x46f680
09:28:04.383    runtime.(*mheap).sysAlloc(0x19d23a0, 0x1c800000, 0x42da97, 0x19d23a8)
/usr/local/go/src/runtime/malloc.go:727 +0x1e5
09:28:04.383    runtime.(*mheap).grow(0x19d23a0, 0xe385, 0x0)
/usr/local/go/src/runtime/mheap.go:1344 +0x85
09:28:04.383    runtime.largeAlloc(0x1c7095fb, 0xc0008b0101, 0x6)
/usr/local/go/src/runtime/malloc.go:1177 +0x92
09:28:04.383    runtime.mallocgc.func1()
/usr/local/go/src/runtime/malloc.go:1071 +0x46
09:28:04.383    goroutine 225306 [running]:
09:28:04.383    github.com/aws/aws-sdk-go/aws.(*WriteAtBuffer).WriteAt(0xc000dd0a50, 0xc00088e000, 0x400, 0x8000, 0x1c7091fb, 0x0, 0x0, 0x0)
/go/pkg/mod/github.com/aws/[email protected]/aws/types.go:193 +0x105 fp=0xc0008bbcb8 sp=0xc0008bbc50 pc=0xd18445
09:28:04.382    runtime stack:
09:28:04.379    fatal error: runtime: out of memory

我的问题是是否有任何方法可以解决这个问题，使用不同的方法来下载代码中的文件（可能在下载器上使用不同的设置）或者...相反，如果我需要拆分文件内容放入桶中以减小大小并分段下载文件。

另一个选择可能是增加应用程序运行时 golang 使用的内存。

我不知道哪种解决方案适合我的情况，您有什么建议？

非常感谢您的任何建议或推荐，非常感谢您！

正确答案

通过使用 downloader，您无法在下载时处理文件：它会同时下载不同的块，因此您不会按顺序接收字节。

如果您想在下载时处理字节，您可以尝试使用 s3.s3。这会按顺序下载对象，但只使用单个 goroutine，因此速度会较慢。

类似于：

    sess, _ := session.NewSession(&aws.Config{
        Region: aws.String("us-west-2")},
    )

    s3Client := s3.New(sess)

    getInput := &s3.GetObjectInput{
        Bucket: aws.String("the bucket name"),
        Key:    aws.String("the file path"),
    }

    resp, err := s3Client.GetObjectWithContext(context.TODO(), getInput)

    if err != nil {
        return nil, fmt.Errorf("error downloading file: %v", err)
    }
    defer resp.Body.Close()

    rd := csv.NewReader(resp.Body)

好了，本文到此结束，带大家了解了《AWS S3 下载器遇到内存不足问题》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多Golang知识！