Golang并发请求批量处理教程

你在学习Golang相关的知识吗？本文《Golang并发请求批量处理教程》，主要介绍的内容就涉及到，如果你想提升自己的开发能力，就不要错过这篇文章，大家要知道编程理论基础和实战操作都是不可或缺的哦！

使用goroutine和channel可高效并发处理批量网络请求，通过限制并发数和加入超时控制优化资源使用。

在Go语言中，使用并发处理批量网络请求是一种常见且高效的实践。通过 goroutine 和 channel，可以轻松实现多个请求的并行发送，并统一收集结果或错误。下面是一个实用的示例，展示如何并发地发起多个HTTP请求，并进行批量处理。

使用 Goroutine 和 Channel 批量请求

核心思路是为每个请求启动一个 goroutine，将结果通过 channel 返回，主协程通过 select 或 range 接收结果。

示例代码：

package main
<p>import (
"fmt"
"net/http"
"sync"
)</p><p>type Result struct {
URL      string
Status   int
Err      error
}</p><p>func fetchURL(url string, ch chan<- Result) {
resp, err := http.Get(url)
if err != nil {
ch <- Result{URL: url, Err: err}
return
}
defer resp.Body.Close()
ch <- Result{URL: url, Status: resp.StatusCode}
}</p><p>func main() {
urls := []string{
"<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6bFZYKcyYGOqnyzgq-yprOifauEz757hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Jtt' rel='nofollow'>https://httpbin.org/status/200</a>",
"<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6bFZYKcyYGOqnyziq-zprOifauEz757hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Jtt' rel='nofollow'>https://httpbin.org/status/404</a>",
"<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6bFZYKcyYGOqnyzjq-yprOifauEz757hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Jtt' rel='nofollow'>https://httpbin.org/status/500</a>",
"<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6a8eYanvpGjpn2ihqKu3LOijnmMlbN4cpSSt89pkqp5qLBkep6yo6Nkf42hpLLdyqKBrIXRsot-lpHdz3Y' rel='nofollow'>https://httpbin.org/delay/2</a>",
}</p><pre class="brush:php;toolbar:false"><code>var wg sync.WaitGroup
ch := make(chan Result, len(urls)) // 缓冲channel避免阻塞

for _, url := range urls {
    wg.Add(1)
    go func(u string) {
        defer wg.Done()
        fetchURL(u, ch)
    }(url)
}

// 关闭channel当所有goroutine完成
go func() {
    wg.Wait()
    close(ch)
}()

// 收集结果
for result := range ch {
    if result.Err != nil {
        fmt.Printf("请求 %s 失败: %v\n", result.URL, result.Err)
    } else {
        fmt.Printf("请求 %s 成功，状态码: %d\n", result.URL, result.Status)
    }
}</code>

}

限制并发数量（使用信号量）

如果请求量很大，同时发起全部请求可能耗尽资源。可以通过带缓冲的 channel 实现并发控制。

改进版本：限制最大并发数

// 在main中修改goroutine启动方式
semaphore := make(chan struct{}, 3) // 最多3个并发
<p>for _, url := range urls {
wg.Add(1)
go func(u string) {
defer wg.Done()
semaphore <- struct{}{} // 获取令牌
fetchURL(u, ch)
<-semaphore // 释放令牌
}(url)
}
</p>

超时控制与上下文（Context）

实际应用中应加入请求超时，避免长时间等待。可使用 context 控制生命周期。

func fetchURLWithContext(url string, ch chan<code>req, _ := http.NewRequestWithContext(ctx, "GET", url, nil)
resp, err := http.DefaultClient.Do(req)
if err != nil {
    ch <- Result{URL: url, Err: err}
    return
}
defer resp.Body.Close()
ch <- Result{URL: url, Status: resp.StatusCode}</code>

}

结果聚合与错误处理

可以根据需要对结果进一步处理，比如统计成功/失败数量，或只返回成功结果。

例如，在接收阶段统计：

successCount, failCount := 0, 0
for result := range ch {
    if result.Err != nil {
        failCount++
        // 可记录日志或重试
    } else {
        successCount++
    }
    fmt.Printf("[%s] %d\n", result.URL, result.Status)
}
fmt.Printf("完成: 成功=%d, 失败=%d\n", successCount, failCount)

基本上就这些。Golang 的并发模型让批量网络请求变得简单高效，合理使用 channel、WaitGroup 和 context 能写出稳定可靠的并发代码。注意控制并发数和设置超时，避免系统资源耗尽。

以上就是《Golang并发请求批量处理教程》的详细内容，更多关于的资料请关注golang学习网公众号！