Python多进程安全写入文件技巧

小伙伴们对文章编程感兴趣吗？是否正在学习相关知识点？如果是，那么本文《Python多进程安全追加写入文件方法》，就很适合你，本篇文章讲解的知识点主要包括。在之后的文章中也会多多分享相关知识点，希望对大家的知识积累有所帮助！

安全多进程追加写入文件需避免错乱，首选portalocker加锁或logging模块；次选消息队列中转；禁用直接open('a')，务必flush()和fsync()。

Python 中安全地多进程并发追加写入同一文件，核心难点在于避免内容错乱、覆盖或丢失。直接用 open(..., 'a') 在多个进程中调用看似可行，但实际存在风险：虽然操作系统对 O_APPEND 有原子性保证（写入位置自动定位到末尾），但 Python 的 print() 或 .write() + .flush() 组合在多进程下仍可能因缓冲、编码、换行符处理等导致交错（尤其当写入内容较短且频繁时）。真正安全的方案需兼顾原子性、隔离性和可维护性。

优先使用进程间互斥（文件锁）

在追加写入前对文件加独占锁，确保每次只有一个进程执行写操作。推荐使用标准库 msvcrt（Windows）或 flock（Unix/Linux/macOS），但跨平台更稳妥的是 portalocker（需安装：pip install portalocker）：

• 每个进程打开文件后立即加锁（阻塞或超时），写入完成再解锁并关闭
• 避免长时间持有锁；只锁写入关键段，不锁整个文件生命周期
• 示例代码片段：

  import portalocker
  with open('log.txt', 'a') as f:
      portalocker.lock(f, portalocker.LOCK_EX)
      f.write(f'[{os.getpid()}] data\n')
      f.flush()  # 确保写入磁盘
      portalocker.unlock(f)  # 显式解锁（或依赖 with 自动释放）
  

改用日志模块（推荐生产环境）

Python logging 模块配合 RotatingFileHandler 或 TimedRotatingFileHandler，默认支持多进程安全追加（底层通过序列化写入或独立子进程处理）。关键配置：

• 设置 handlers = [logging.FileHandler('app.log', mode='a')]
• 启用 logging.basicConfig(..., handlers=handlers)
• 若需更高可靠性，搭配 ConcurrentLogHandler（第三方，基于文件锁封装）
• 优势：自动处理编码、换行、缓冲、轮转，无需手动锁管理

避免直接共享文件：改用消息队列中转

彻底规避文件竞争——各进程将待写内容发往本地队列（如 multiprocessing.Queue），由单个专用写入进程统一消费并顺序追加：

• 主进程创建 Queue 和写入子进程，子进程循环 get() 并写入文件
• 其他工作进程调用 queue.put(line) 即可，无锁、无冲突
• 适合高吞吐场景；额外开销小，逻辑清晰，易于扩展（如后续接入 Kafka 或 Redis）

不推荐但可临时用：原子写入 + 重命名（仅限小量追加）

每个进程生成唯一临时文件（如含 PID 和时间戳），写入后原子重命名为目标文件（仅适用于“全量替换”而非真追加）。若硬要模拟追加，可先读原文件、拼接、再原子写入新文件并替换——但该方式在大文件下低效且非真正并发安全，仅作了解。

不复杂但容易忽略：无论选哪种方式，务必确保写入后调用 .flush()，必要时加 os.fsync() 强制落盘，防止系统缓存导致数据丢失。

以上就是《Python多进程安全写入文件技巧》的详细内容，更多关于的资料请关注golang学习网公众号！