当前位置：首页 > 文章列表 > 文章 > python教程 > Python线程池用法与concurrent模块解析

Python线程池用法与concurrent模块解析

2026-03-05 13:18:52 0浏览收藏

本文深入解析了Python中线程池的核心实践——聚焦于官方推荐的`concurrent.futures.ThreadPoolExecutor`，系统讲解了如何高效创建与管理线程池、提交单个或批量任务（`submit`与`map`）、优雅释放资源（`with`语句）、精准控制并发数（针对I/O与CPU密集型任务的差异化配置）、安全处理异常与超时、以及利用`as_completed`实现结果流式响应；同时直击开发常见陷阱，如竞态条件、执行顺序误解、内存泄漏风险和任务适用边界，助你避开坑洞，写出真正健壮、可维护的并发代码。

Python线程池怎么用_concurrent模块详解

Python 中的线程池主要通过 concurrent.futures 模块实现，而不是 _concurrent（该模块是内部私有模块，不建议直接使用）。实际开发中应使用公开、稳定、文档完善的 concurrent.futures.ThreadPoolExecutor。

ThreadPoolExecutor 基本用法

创建线程池执行器后，用 submit() 提交单个任务，或用 map() 批量提交可迭代任务：

submit(fn, *args, **kwargs) 返回一个 Future 对象，可用 .result() 获取结果（会阻塞等待）
map(fn, iterable) 自动分发并按输入顺序返回结果，也支持多参数（需配合 functools.partial 或包装函数）
推荐搭配 with 语句使用，确保线程池自动关闭和资源释放

示例：

from concurrent.futures import ThreadPoolExecutor
import time

def task(n):
  time.sleep(1)
  return n * n

with ThreadPoolExecutor(max_workers=3) as executor:
  futures = [executor.submit(task, i) for i in range(5)]
  results = [f.result() for f in futures]
print(results) # [0, 1, 4, 9, 16]

控制并发数量与生命周期

max_workers 参数决定线程池最多维持多少个活跃线程，默认为 min(32, os.cpu_count() + 4)。注意：

I/O 密集型任务（如网络请求、文件读写）可设稍大值（如 10–30），充分利用等待时间
CPU 密集型任务不建议用多线程（受 GIL 限制），应改用 ProcessPoolExecutor
显式调用 shutdown(wait=True) 可等待已有任务完成；wait=False 则立即返回，后台继续运行

处理异常与超时

每个 Future 对象封装了任务状态和结果，支持异常传播与超时控制：

future.exception() 返回异常对象（若任务出错），否则返回 None
future.result(timeout=5) 设置获取结果的最长等待时间，超时抛出 TimeoutError
可在 submit 后统一用 as_completed() 遍历完成的 Future，实现“谁先完成谁先处理”

示例（带异常捕获）：

from concurrent.futures import ThreadPoolExecutor, as_completed

def risky_task(x):
  if x == 3: raise ValueError("Boom!")
  return x ** 2

with ThreadPoolExecutor() as ex:
  futures = {ex.submit(risky_task, i): i for i in range(5)}
  for f in as_completed(futures):
    try:
      print(f.result())
    except Exception as e:
      print(f"Task failed: {e}")