积极主动者与本不合时宜

本文探讨了使用 go-getter v2 从 HTTP 下载大型 ZIP 文件并解压时遇到的“上下文最后期限超出”错误。默认情况下，go-getter 的 HTTP 获取器将读取超时时间配置为 30 秒。如果下载需要更长的时间，则必须通过创建自定义客户端并配置具有合理读取超时时间的 HTTP 获取器来覆盖此设置。示例代码演示了如何配置自定义客户端，其中 HTTP 获取器的读取超时时间设置为 60 秒，以成功下载大型文件。

我想使用 go-getter v2 从 http 下载一些巨大的 zip 文件并解压它们。

我尝试这段代码（注意：defaultprogressbar取自此处）

package main

import (
    "context"
    "log"

    getter "github.com/hashicorp/go-getter/v2"
)

func main() {
    ctx := context.Background()
    req := &getter.Request{
        Src:              "https://huge-file.zip",
        Dst:              "data/",
        Pwd:              "./",
        GetMode:          getter.ModeAny,
        ProgressListener: defaultProgressBar,
    }
    // client := getter.DefaultClient
    client := getter.Client{}
    _, err := client.Get(ctx, req)

    if err != nil {
        log.Fatal(err)
    }
}

此代码始终返回 context 最后期限超出 。关于上下文使用我应该了解什么？

正确答案

这是 getter.Client 的文档：

type client struct {
  // getters is the list of protocols supported by this client. if this
  // is nil, then the default getters variable will be used.
  getters []getter

  // other fields are omitted.
}

默认getters中的httpgetter配置了30s的readtimeout（参见source code）：

httpgetter := &httpgetter{
    netrc:                 true,
    xterraformgetdisabled: true,
    headfirsttimeout:      10 * time.second,
    readtimeout:           30 * time.second,
}

所以默认是httpgetter报错。如果下载大文件需要超过30秒，则应将httpgetter配置为合理的值。请参阅下面的演示：

package main

import (
    "context"
    "log"
    "net/http"
    "net/http/httptest"
    "time"

    getter "github.com/hashicorp/go-getter/v2"
)

func main() {
    ts := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
        w.Write([]byte{'a'})
        time.Sleep(31 * time.Second)
        w.Write([]byte{'b'})
    }))
    defer ts.Close()

    ctx := context.Background()
    req := &getter.Request{
        Src:     ts.URL,
        Dst:     "data.txt",
        Pwd:     "./",
        GetMode: getter.ModeAny,
    }
    client := &getter.Client{
        Getters: []getter.Getter{
            &getter.HttpGetter{
                Netrc:                 true,
                XTerraformGetDisabled: true,
                HeadFirstTimeout:      10 * time.Second,
                // Set the ReadTimeout to a reasonable value for the huge file.
                ReadTimeout: 60 * time.Second,
            },
        },
    }

    log.Println("begin downloading")

    _, err := client.Get(ctx, req)
    if err != nil {
        log.Fatal(err)
    }

    log.Println("done!")
}

到这里，我们也就讲完了《积极主动者与本不合时宜》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！