实现 AWS CLI 同步命令性能优化的方法

本篇文章向大家介绍《实现 AWS CLI 同步命令性能优化的方法》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

cli 中的 aws s3sync 命令可以非常快速地下载大量文件，而我无法使用 aws go sdk 实现相同的性能。我的存储桶中有数百万个文件，因此这对我来说至关重要。我还需要使用列表页面命令，以便添加 sync cli 命令无法很好支持的前缀。

我尝试过使用多个 goroutine（10 到 1000 个）向服务器发出请求，但与 cli 相比，时间要慢得多。每个文件运行 go getobject 函数大约需要 100 毫秒，这对于我拥有的文件数量来说是不可接受的。我知道aws cli在后端也使用了python sdk，那么它如何具有如此好的性能（我在boto和go中尝试了我的脚本）。

我正在使用 listobjectsv2pages 和 getobject。我的区域与 s3 服务器的区域相同。

logmtx := &sync.mutex{}
    logbuf := bytes.newbuffer(make([]byte, 0, 100000000))

    err = s3c.listobjectsv2pages(
        &s3.listobjectsv2input{
            bucket:  bucket,
            prefix:  aws.string("2019-07-21-01"),
            maxkeys: aws.int64(1000),
        },
        func(page *s3.listobjectsv2output, lastpage bool) bool {
            fmt.println("received", len(page.contents), "objects in page")
            worker := make(chan bool, 10)
            for i := 0; i < cap(worker); i++ {
                worker <- true
            }
            wg := &sync.waitgroup{}
            wg.add(len(page.contents))
            objidx := 0
            objidxmtx := sync.mutex{}
            for {
                <-worker
                objidxmtx.lock()
                if objidx == len(page.contents) {
                    break
                }
                go func(idx int, obj *s3.object) {
                    gs := time.now()
                    resp, err := s3c.getobject(&s3.getobjectinput{
                        bucket: bucket,
                        key:    obj.key,
                    })
                    check(err)
                    fmt.println("get: ", time.since(gs))

                    rs := time.now()
                    logmtx.lock()
                    _, err = logbuf.readfrom(resp.body)
                    check(err)
                    logmtx.unlock()
                    fmt.println("read: ", time.since(rs))

                    err = resp.body.close()
                    check(err)
                    worker <- true
                    wg.done()
                }(objidx, page.contents[objidx])
                objidx += 1
                objidxmtx.unlock()
            }
            fmt.println("ok")
            wg.wait()
            return true
        },
    )
    check(err)

许多结果如下所示：

Get:  153.380727ms
Read:  51.562µs

解决方案

我最终决定在最初的帖子中使用我的脚本。我尝试了 20 个 goroutine，看起来效果很好。在我的笔记本电脑上，与 cli 相比，初始脚本肯定比命令行（i7 8 线程、16 gb ram、nvme）慢。然而，在 ec2 实例上，差异足够小，不值得我花时间进一步优化它。我使用了与 s3 服务器位于同一区域的 c5.xlarge 实例。

您尝试过使用 https://docs.aws.amazon.com/sdk-for-go/api/service/s3/s3manager/ 吗？

iter := new(s3manager.DownloadObjectsIterator)
var files []*os.File
defer func() {
    for _, f := range files {
        f.Close()
    }
}()

err := client.ListObjectsV2PagesWithContext(ctx, &s3.ListObjectsV2Input{
    Bucket: aws.String(bucket),
    Prefix: aws.String(prefix),
}, func(output *s3.ListObjectsV2Output, last bool) bool {
    for _, object := range output.Contents {
        nm := filepath.Join(dstdir, *object.Key)
        err := os.MkdirAll(filepath.Dir(nm), 0755)
        if err != nil {
            panic(err)
        }

        f, err := os.Create(nm)
        if err != nil {
            panic(err)
        }

        log.Println("downloading", *object.Key, "to", nm)

        iter.Objects = append(iter.Objects, s3manager.BatchDownloadObject{
            Object: &s3.GetObjectInput{
                Bucket: aws.String(bucket),
                Key:    object.Key,
            },
            Writer: f,
        })
        files = append(files, f)
    }

    return true
})
if err != nil {
    panic(err)
}

downloader := s3manager.NewDownloader(s)
err = downloader.DownloadWithIterator(ctx, iter)
if err != nil {
    panic(err)
}

理论要掌握，实操不能落！以上关于《实现 AWS CLI 同步命令性能优化的方法》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！