使用GO SDK递归上传目录内容到GCS

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《使用GO SDK递归上传目录内容到GCS》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

我正在尝试将包含大量数据的目录上传和下载到gcs。有人可以告诉我如何使用 golang sdk 来实现这一点吗？我也想进行分段上传 (-m)

示例目录结构：

$ tree dir1/
dir1/
└── dir2
    └── dir3
        ├── 1.csv
        └── 2.csv

等效的 gsutil 命令：gustil -m cp -r dir1 gs://exmaple/

解决方案

根据我的理解，我相信 gcp 存储 api 是原子的，一次只允许上传一个对象。

gsutil 命令使用递归来迭代提供的路径，但最终执行单一 api 调用来进行上传。

下面的代码片段将为您提供一些提示，请注意，我尚未测试实际复制到 gcp 的情况。我仅验证了代码是否可以编译。

这是 google 文档 Uploading Objects 中内容的修改版本

package main

import (
    "context"
    "fmt"
    "io"
    "os"
    "path/filepath"
    "strings"
    "time"

    "cloud.google.com/go/storage"
)

// BulkUpload uploads files in bulk
func BulkUpload(bucket, rootPath string) error {
    ctx := context.Background()
    client, err := storage.NewClient(ctx)
    if err != nil {
        return fmt.Errorf("storage.NewClient: %v", err)
    }
    defer client.Close()

    fileList, objPath, err := pathWalk(rootPath)
    if err != nil {
        return err
    }
    _ = objPath

    for i:=0; i <len(fileList);i++ {
        // Open and read local file
        f, err := os.Open(fileList[i])
        if err != nil {
            return fmt.Errorf("os.Open: %v", err)
        }
        f.Close()

        ctx, cancel := context.WithTimeout(ctx, time.Second*50)
        defer cancel()

        // Upload an object with storage.Writer.
        wc := client.Bucket(bucket).Object(objPath[i]).NewWriter(ctx)
        if _, err = io.Copy(wc, f); err != nil {
            return fmt.Errorf("io.Copy: %v", err)
        }
        if err := wc.Close(); err != nil {
            return fmt.Errorf("Writer.Close: %v", err)
        }
        fmt.Printf("Blob %v uploaded.\n", objPath[i])
    }

    return nil
}


// pathWalk create a list of files from a root path
// returns a list of all files and a list of files excluding the root path
func pathWalk(root string) ([]string, []string, error){
    var files []string
    var objectPath []string

    err := filepath.Walk(root, func(path string, info os.FileInfo, err error) error {
        files = append(files, path)
        return nil
    })
    if err != nil {
        return nil, nil, fmt.Errorf("error walking path: %v", err)
    }

    for _, f := range files {
        objectPath = append(objectPath, strings.Trim(f, root))
    }

    return files, objectPath, nil
}

func main() {

    if err := BulkUpload("mybucket", "somedirectory/" ); err != nil {
        panic(err)
    }

}

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《使用GO SDK递归上传目录内容到GCS》文章吧，也可关注golang学习网公众号了解相关技术文章。