Golang并发批量任务执行实例

“纵有疾风来，人生不言弃”，这句话送给正在学习Golang的朋友们，也希望在阅读本文《Golang 并发执行批量任务实例》后，能够真的帮助到大家。我也会在后续的文章中，陆续更新Golang相关的技术文章，有好的建议欢迎大家在评论留言，非常感谢！

使用WaitGroup和Channel可实现Go中安全的并发任务控制。1. WaitGroup通过Add、Done、Wait方法确保所有goroutine完成；2. Channel用于协程间通信，传递结果或错误；3. 主协程启动任务前调用Add，每个任务完成后调用Done并发送结果到channel；4. 单独goroutine在Wait结束后关闭channel；5. 主循环从channel读取结果直至关闭。示例中并发抓取多个URL，WaitGroup保证全部完成，channel收集输出，避免混乱。注意：Add应在主协程预设，避免多goroutine同时Add；仅发送方关闭channel；合理设置缓冲防溢出。该模式适用于批量请求、并行处理等场景。

在 Golang 开发中，经常会遇到需要并发执行多个任务的场景，比如批量请求外部接口、处理大量数据等。为了高效利用资源并控制并发流程，WaitGroup 和 Channel 是两个非常关键的工具。它们配合使用可以实现安全、可控的批量任务并发执行。

WaitGroup 控制任务等待

sync.WaitGroup 用于等待一组 goroutine 完成。它通过计数器机制管理协程生命周期：每启动一个任务就调用 Add(1)，任务完成时调用 Done()，主线程通过 Wait() 阻塞直到计数归零。

适用于所有子任务都需完成后再继续的场景。例如批量下载文件或并行计算：

• 在主协程中调用 wg.Add(n) 设置总任务数
• 每个子协程执行完任务后调用 wg.Done()
• 主协程调用 wg.Wait() 等待全部完成

Channel 实现协程通信与同步

Channel 是 Go 中协程间通信的主要方式。它可以传递数据、控制执行节奏，还能避免竞态条件。结合 WaitGroup 使用，能更灵活地收集结果或错误信息。

定义一个缓冲 channel 存储任务结果，每个 goroutine 处理完将结果写入 channel，主线程统一读取：

• 创建带缓冲的 channel，如 resultCh := make(chan string, 10)
• 每个并发任务执行完成后向 channel 发送结果
• WaitGroup 确保所有任务结束，再关闭 channel 并读取数据

实际应用示例：并发抓取网页内容

假设我们需要同时获取多个 URL 的响应内容，下面是一个完整例子：

package main
<p>import (
"fmt"
"net/http"
"sync"
)</p><p>func fetchURL(url string, ch chan<- string, wg *sync.WaitGroup) {
defer wg.Done()</p><pre class="brush:php;toolbar:false"><code>resp, err := http.Get(url)
if err != nil {
    ch &lt;- fmt.Sprintf("Error fetching %s: %v", url, err)
    return
}
defer resp.Body.Close()

ch &lt;- fmt.Sprintf("Success: %s with status %d", url, resp.StatusCode)</code>

}

func main() { urls := []string{ "https://httpbin.org/status/200", "https://httpbin.org/status/404", "https://httpbin.org/status/500", }

var wg sync.WaitGroup
resultCh := make(chan string, len(urls))

for _, url := range urls {
    wg.Add(1)
    go fetchURL(url, resultCh, &wg)
}

go func() {
    wg.Wait()
    close(resultCh)
}()

for result := range resultCh {
    fmt.Println(result)
}

}

这个例子中，WaitGroup 保证所有请求完成，channel 收集每个请求的结果，避免了直接打印可能引起的混乱输出。

注意事项与最佳实践

使用 WaitGroup 和 Channel 时要注意以下几点：

• 不要在多个 goroutine 中同时调用 Add()，建议在主协程中预设总数
• 确保每个 Add(1) 都有对应的 Done()，否则会死锁
• 只有发送方应关闭 channel，接收方不应调用 close()
• 合理设置 channel 缓冲大小，防止内存溢出

基本上就这些。掌握 WaitGroup 与 Channel 的协作模式，能让你轻松应对大多数并发任务场景。

今天关于《Golang并发批量任务执行实例》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！