Golang并发读写文件技巧分享

本文深入探讨了Go语言中并发文件读写的三大核心实践方案：通过sync.Mutex或sync.RWMutex对共享文件加锁实现安全串行访问，适用于日志等高频写入场景；让每个goroutine写入独立命名的文件，彻底规避竞争，提升并行扩展性；以及借助channel构建生产者-消费者模型，由单个goroutine集中处理写请求，在保障线程安全的同时解耦业务逻辑与I/O操作。结合sync.WaitGroup确保操作完整性，开发者可根据实际负载、一致性要求和系统架构灵活选择最适合的策略——简单场景用锁，高并发选channel，分布式任务则优先考虑独立文件，真正兼顾安全性、性能与可维护性。

在Go语言中处理并发文件读写，关键在于避免多个goroutine同时访问同一文件导致数据竞争或损坏。虽然文件本身是操作系统级别的共享资源，但Go提供了多种机制来协调并发访问，确保安全性和性能。

使用互斥锁保护文件操作

当多个goroutine需要对同一个文件进行读写时，最常见的方式是使用sync.Mutex来串行化访问。

这样可以确保任意时刻只有一个goroutine能执行写入（或读写）操作。

例如：

package main
import (
"os"
"sync"
)
var mu sync.Mutex
var file *os.File
func writeFile(data []byte) error {
mu.Lock()
defer mu.Unlock()
_, err := file.Write(data)
return err
}

这个模式适用于频繁写入日志文件等场景。注意：如果只读操作较多，可考虑sync.RWMutex，允许多个读操作并发执行。

每个goroutine操作独立文件

避免竞争的另一种思路是让每个goroutine写入不同的文件，完全绕开锁竞争。

比如按时间戳、ID或批次命名文件：

func writeToFileByWorker(id int, data []byte) error {
    filename := fmt.Sprintf("output_%d.txt", id)
    return os.WriteFile(filename, data, 0644)
}

这种方式扩展性好，适合并行处理任务后分别保存结果。最后可通过合并文件完成汇总。

通过channel集中管理文件写入

将所有写请求发送到一个channel，由单一goroutine负责实际写入，实现“生产者-消费者”模型。

这既保证了线程安全，又解耦了业务逻辑与IO操作。

示例：

type writeJob struct {
    data []byte
    err  chan error
}
var writerChan = make(chan writeJob)
func writer() {
file, _ := os.Create("output.log")
defer file.Close()
for job := range writerChan {
    _, err := file.Write(job.data)
    job.err <- err
}
}
func init() {
go writer()
}
func enqueueWrite(data []byte) error {
errCh := make(chan error, 1)
writerChan <- writeJob{data: data, err: errCh}
return <-errCh
}

这种方法结构清晰，易于控制写入顺序和频率，也方便添加缓冲或限流逻辑。

注意关闭资源与同步退出

并发写文件时，要确保所有写操作完成后再关闭文件或退出程序。

使用sync.WaitGroup等待所有任务结束：

var wg sync.WaitGroup
for i := 0; i < 10; i++ {
wg.Add(1)
go func(id int) {
defer wg.Done()
writeFile([]byte(fmt.Sprintf("worker %d\n", id)))
}(i)
}
wg.Wait() // 等待全部完成

若结合channel方案，记得关闭channel并在writer中检测退出信号，防止goroutine泄漏。

基本上就这些。选择哪种方式取决于具体需求：简单场景用Mutex，高并发推荐channel集中写入，独立输出则各自写文件更高效。核心是避免竞态，同时不牺牲太多性能。

到这里，我们也就讲完了《Golang并发读写文件技巧分享》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！