使用Go语言实现AWS S3的并发下载

本文介绍了如何使用 Go 语言实现 AWS S3 的并发下载，以优化大文件（如 9GB）的下载速度。该解决方案通过创建自定义下载器并配置选项，如分片大小和并发度，来实现并发下载。通过使用 `s3manager.NewDownloader` 函数的自定义选项，可以提高下载性能并缩短下载时间。

我正在编写一个函数，使用 aws-sdk for go 从 aws s3 存储桶下载大文件 (9gb)。我需要优化它并快速下载文件。

func DownloadFromS3Bucket(bucket, item, path string) {
    os.Setenv("AWS_ACCESS_KEY_ID", constants.AWS_ACCESS_KEY_ID)
    os.Setenv("AWS_SECRET_ACCESS_KEY", constants.AWS_SECRET_ACCESS_KEY)

    file, err := os.Create(filepath.Join(path, item))
    if err != nil {
        fmt.Printf("Error in downloading from file: %v \n", err)
        os.Exit(1)
    }

    defer file.Close()

    sess, _ := session.NewSession(&aws.Config{
        Region: aws.String(constants.AWS_REGION)},
    )

    downloader := s3manager.NewDownloader(sess)

    numBytes, err := downloader.Download(file,
        &s3.GetObjectInput{
            Bucket: aws.String(bucket),
            Key:    aws.String(item),
        })
    if err != nil {
        fmt.Printf("Error in downloading from file: %v \n", err)
        os.Exit(1)
    }

    fmt.Println("Download completed", file.Name(), numBytes, "bytes")
}

有人可以建议一个解决方案来扩展此功能。

解决方案

尝试将 newdownloader() 更改为此。查看https://docs.aws.amazon.com/sdk-for-go/api/service/s3/s3manager/#NewDownloader

// Create a downloader with the session and custom options
downloader := s3manager.NewDownloader(sess, func(d *s3manager.Downloader) {
     d.PartSize = 64 * 1024 * 1024 // 64MB per part
     d.Concurrency = 4
})

可以使用 d 设置的选项列表。在 func 中可以在这里找到 https://docs.aws.amazon.com/sdk-for-go/api/service/s3/s3manager/#Downloader

到这里，我们也就讲完了《使用Go语言实现AWS S3的并发下载》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！