Golang并发下载技巧：goroutine与HTTP使用方法

本文深入剖析了Golang中高并发HTTP下载的常见陷阱与最佳实践，指出直接使用http.Get启动大量goroutine极易因默认HTTP客户端连接池限制（MaxIdleConns和MaxIdleConnsPerHost均为100）导致请求排队、超时甚至永久阻塞；强调必须自定义带合理Timeout和调优连接池参数的http.Client，并采用带缓冲channel作为轻量级信号量精准控制并发数，从而实现稳定、高效、可取消的并发下载——掌握这些技巧，才能真正驾驭Go的并发能力，避免线上事故。

为什么直接用 http.Get 开多个 goroutine 容易失败

Go 的 http.DefaultClient 底层复用 TCP 连接，但默认只允许最多 100 个并发连接（MaxIdleConns）和每 host 最多 100 个（MaxIdleConnsPerHost）。如果你起 500 个 goroutine 调 http.Get，大量请求会阻塞在连接池排队，甚至超时或返回 net/http: request canceled (Client.Timeout exceeded)。

• 务必自定义 http.Client，调大连接池参数
• 必须设置 Timeout，否则失败请求可能永久挂起 goroutine
• 避免用 http.Get —— 它用的是默认 client，不可控

如何安全启动 N 个并发下载 goroutine

核心是控制并发数，不能无节制起 goroutine。用带缓冲的 channel 当“信号量”最直观：它天然限流，且能配合 select 做超时/取消。

sem := make(chan struct{}, 10) // 限制最多 10 并发
for _, url := range urls {
    sem 

• 缓冲大小即最大并发数，设太小吞吐低，设太大压垮服务端或本地资源
• 一定要在 goroutine 内部 defer func() { ，不能在外层，否则会提前释放
• URL 要传参进闭包，否则所有 goroutine 共享同一个 url 变量（常见 bug）

下载文件时如何避免内存爆炸

用 io.Copy 流式写入，别把整个响应体读进 []byte。尤其下载大文件时，resp.Body.ReadAll() 会一次性分配几百 MB 内存，极易 OOM。

out, err := os.Create(filename)
if err != nil {
    return err
}
defer out.Close()
_, err = io.Copy(out, resp.Body) // 零拷贝流式写入
if err != nil {
return err
}

• io.Copy 内部用 32KB 缓冲区，内存占用恒定
• 记得 defer resp.Body.Close()，否则连接不释放，连接池迅速耗尽
• 如果需校验（如 SHA256），用 io.TeeReader 边读边算，不要先存再算

如何处理重定向、404 和证书错误

http.Client 默认跟随重定向（CheckRedirect 为 nil），但 404 不报错，需手动检查 resp.StatusCode；自签名证书则要定制 Transport.TLSClientConfig。

• 判断失败：只把 200 当作成功，其余统一按错误处理
• 禁用重定向：设 CheckRedirect: func(req *http.Request, via []*http.Request) error { return http.ErrUseLastResponse }
• 跳过证书验证（仅测试）：&http.Transport{TLSClientConfig: &tls.Config{InsecureSkipVerify: true}}，生产环境必须配好 CA

真正难的不是并发本身，而是每个下载请求背后隐含的状态管理：连接复用是否健康、文件句柄是否及时关闭、错误是否被静默吞掉、磁盘空间是否足够写入。这些细节不显眼，但一出问题就是大面积失败。

以上就是《Golang并发下载技巧：goroutine与HTTP使用方法》的详细内容，更多关于的资料请关注golang学习网公众号！