Golang并发处理：goroutine与channel实战教程

本文深入探讨了Golang如何利用goroutine和channel高效处理并发文件任务，尤其针对I/O密集型场景。文章首先强调了并发处理的优势，并通过实例展示了如何为每个文件启动独立的goroutine，并警示了变量捕获问题。针对大量文件处理，提出了worker pool模型，通过带缓冲的channel与固定数量worker配合，有效控制并发数，避免资源耗尽和数据竞争。此外，文章还介绍了`sync.WaitGroup`的使用，确保所有任务完成后再进行汇总或退出程序，以及结合`select`监听中断信号实现优雅退出的方法。总而言之，掌握Golang的并发特性，合理分配任务，安全通信，能够显著提升文件处理效率。

Golang通过goroutine和channel实现高效并发文件处理。针对任务间无依赖的情况，可为每个文件启动独立goroutine处理，并注意变量捕获问题；面对大量文件时应使用worker pool模型限制并发数，通过channel传递任务避免数据竞争；使用sync.WaitGroup等待所有任务完成或结合select监听中断信号实现优雅退出。具体步骤为：1. 为每个文件启动goroutine时传入参数解决变量捕获问题；2. 使用带缓冲的channel与固定数量worker配合控制并发；3. 利用WaitGroup统计任务并等待完成；4. 通过select监听信号实现程序提前退出。

并发是Golang的一大亮点，尤其在处理文件这类I/O密集型任务时，利用goroutine和channel可以显著提升效率。关键在于合理分配任务、控制并发数量，并通过channel实现安全通信。

启动多个goroutine处理不同文件

最直接的做法是为每个文件启动一个goroutine，各自独立读写。比如你要批量处理100个日志文件，每个文件单独解析，就可以这样操作：

for _, filename := range filenames {
    go func(name string) {
        processFile(name)
    }(filename)
}

这里要注意变量捕获的问题，循环中必须把filename作为参数传入匿名函数，否则可能所有goroutine都处理最后一个文件。

这种方式适合任务之间互不依赖的情况，但如果你有大量文件（比如上万个），直接起这么多goroutine可能会导致资源耗尽。这时候应该用worker pool模型，限制最大并发数。

用channel传递任务或结果，避免数据竞争

goroutine之间不能直接共享变量来同步状态，这时候就要用到channel。常见做法是预先定义好任务列表，然后让一组worker goroutine从channel中取任务执行。

举个例子，你想并发处理1000个文件，最多同时运行10个goroutine：

taskChan := make(chan string, 100)

// 启动固定数量的worker
for i := 0; i < 10; i++ {
    go func() {
        for file := range taskChan {
            processFile(file)
        }
    }()
}

// 把任务发进channel
for _, file := range allFiles {
    taskChan <- file
}

close(taskChan)

这种模式的好处是既能控制并发度，又能避免数据竞争问题。而且如果需要返回结果，可以在worker中把结果发送到另一个channel里统一收集。

控制执行顺序与等待完成：sync.WaitGroup和select的使用

有时候你不仅想并发处理文件，还想等所有任务都完成后做汇总或者退出程序。这时候可以用sync.WaitGroup配合goroutine来实现等待：

var wg sync.WaitGroup

for _, file := range files {
    wg.Add(1)
    go func(f string) {
        defer wg.Done()
        processFile(f)
    }(file)
}

wg.Wait()
fmt.Println("所有文件处理完成")

另外，如果你的程序需要监听中断信号（比如Ctrl+C），可以结合select语句优雅地退出：

sigChan := make(chan os.Signal, 1)
signal.Notify(sigChan, os.Interrupt)

go func() {
    <-sigChan
    fmt.Println("收到中断信号，准备退出...")
    // 清理资源、保存状态等
    os.Exit(0)
}()

这样即使任务还没全部完成，也能提前响应用户意图，不至于卡死。

以上就是用Golang实现并发文件处理的一些常用方法。goroutine负责并发执行，channel负责协调沟通，再加上WaitGroup或select做控制，基本上就能应对大多数场景了。

本篇关于《Golang并发处理：goroutine与channel实战教程》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于Golang的相关知识，请关注golang学习网公众号！