上传分块数据到 AWS S3 的 Golang 实现

学习知识要善于思考，思考，再思考！今天golang学习网小编就给大家带来《上传分块数据到 AWS S3 的 Golang 实现》，以下内容主要包含等知识点，如果你正在学习或准备学习Golang，就都不要错过本文啦~让我们一起来看看吧，能帮助到你就更好了！

如何使用 Golang 将大字符串或字节数组部分上传到 AWS S3 存储桶？

例如，如果我有一个包含数十亿个字符的字符串，并且由于内存限制我想避免一次全部上传，我该如何实现这一点？

我的用例涉及从数据库导出特定数据，将该数据编码为 JSON 对象（存储为字符串），然后将这些部分按顺序上传到 AWS S3 存储桶，直到生成并上传完整的 JSON 文件。目的是让上传到 S3 的最终文件能够以 JSON 格式下载。

我几天前遇到了这个问题，并在此处分享该问题及其答案，以帮助可能面临相同或类似挑战的其他用户。如果您认为为了清晰起见还需要进一步改进，请告诉我！

正确答案

使用 s3manager 包可以实现将大数据分批上传到 aws s3 存储桶的过程。关键是利用 s3manager.UploadInput 结构体的 body 字段，该字段接受 io.reader。

您可以使用 io.pipe，它为您提供一个读取器（您将附加到 uploadinput 的 body 字段）和一个写入器（您将向其写入每个块）。当您写入每个块时，它将上传到您的 s3 存储桶。请记住处理上传过程中可能出现的任何错误。另外，不要忘记关闭 writer，以便 s3 可以完成上传过程。

这是一个您可以开始使用的示例工作代码：

package main

import (
    "fmt"
    "io"

    "github.com/aws/aws-sdk-go/aws"
    "github.com/aws/aws-sdk-go/aws/credentials"
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3/s3manager"
)

const (
    // Use environment variables instead for credentials
    ACCESS_KEY = "your-access-key"
    SECRET_KEY = "your-secret-key"

    // Your bucket region and name
    S3_REGION  = "your-bucket-region" // e.g. eu-central-1
    S3_BUCKET  = "your-bucket-name"

    // The number of bytes per chunk. Change this according to your case, this is just
    // an example value used in this code because here we are creating chunks from a string.
    // You can use something like 10 * 1024 * 1024 to set up chunk size to 10MB.
    CHUNK_SIZE = 50
)

func main() {
    // create an aws session
    sess, err := session.NewSession(&aws.Config{
        Region:      aws.String(S3_REGION),
        Credentials: credentials.NewStaticCredentials(ACCESS_KEY, SECRET_KEY, ""),
    })
    if err != nil {
        panic(err)
    }

    // create an uploader
    pr, pw := io.Pipe()
    errch := make(chan error)
    go chunkUploader(sess, "example_file_1", errch, pr)

    // retrieve the data from database
    chunk, skip := retrieveNextChunk(0, CHUNK_SIZE)
    for {
        if len(chunk) == 0 {
            break
        }

        // this uploads the chunk
        pw.Write(chunk)

        // this retrieves new data from "database" and saves the as a new chunk and new
        // skip value for the next retrieving
        chunk, skip = retrieveNextChunk(skip, CHUNK_SIZE)
    }

    // close the writter - this tells S3 to finish uploading your file which will
    // then appear in your bucket object list page
    pw.Close()

    // check for errors
    err = <-errch
    if err != nil {
        panic(err)
    }
    fmt.Println("Data successfully uploaded")
}

// this is an example function for retrieving a part of data from your database
func retrieveNextChunk(skip int, limit int) ([]byte, int) {
    fulldata := "Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum."

    var chunk string
    if skip+limit > len(fulldata) {
        chunk = fulldata[skip:]
    } else {
        chunk = fulldata[skip : skip+limit]
    }
    return []byte(chunk), skip + len(chunk)
}

func chunkUploader(session *session.Session, key string, errch chan<- error, reader *io.PipeReader) {
    _, err := s3manager.NewUploader(session).Upload(&s3manager.UploadInput{
        Bucket:             aws.String(S3_BUCKET),
        Key:                aws.String(key),
        Body:               reader,
        ContentDisposition: aws.String("attachment"), // or "inline" = the file will be displayed in the browser if possible
        ContentType:        aws.String("text/plain"), // change this to you content type, for example application/json
    })
    errch <- err
}

请随意调整此代码以适应您的特定场景。这种方法允许您以可管理的块的形式将大数据上传到 s3，避免内存问题并确保上传过程更顺畅。

好了，本文到此结束，带大家了解了《上传分块数据到 AWS S3 的 Golang 实现》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多Golang知识！