Python asyncio.Barrier 怎样让多个协程在阶段边界同时放行
当一组异步任务必须“都准备好以后再一起进入下一阶段”时,asyncio.Barrier 比手写计数器更直接。先把参与者数量传给 parties,每个协程在同一个阶段调用 wait();人数到齐后,等待者会同时放行,而且同一个 Barrier 可以用于下一轮。它不是队列,也不是线程同步器:参与数量必须稳定,取消和异常必须有收尾路径。
本文解决:如何设置 parties、用 async with 通过阶段闸门、处理取消导致的缺席,以及用外层超时避免任务永久等待。
先确定 parties 等于哪一批任务
asyncio.Barrier(parties) 中的 parties 不是并发上限,而是每一轮必须到达闸门的任务数。例如三步流水线有三个固定 worker,只有三个 worker 都完成准备动作后,才适合设置 parties=3。
它解决的是阶段同步:任务 A、B、C 到达 wait() 后一起继续。它不负责保存业务数据,也不会替你处理任务失败。如果一轮中实际只创建了两个任务,却仍然设置为 3,剩余任务会一直等到超时或被中止。
用 async with 让一批任务同时越过关卡
Barrier 支持 wait(),也支持更适合资源边界表达的 async with。下面的示例把三个 worker 放在同一个阶段闸门前;position 是本轮返回的唯一位置编号,可让一个任务承担一次性的记录动作。
import asyncio
async def worker(name: str, barrier: asyncio.Barrier) -> None:
# 这里代表每个协程各自完成准备工作。
await asyncio.sleep(0.05)
try:
# 三个任务都进入这里后,Barrier 才会同时放行。
async with barrier as position:
if position == 0:
# 只有一个任务负责记录阶段切换,避免重复写日志。
print("phase-ready")
print(f"{name}: next-phase")
except asyncio.BrokenBarrierError:
# 闸门被中止时,任务应转入统一的失败收尾路径。
print(f"{name}: barrier-broken")
async def main() -> None:
# parties 必须等于这一轮实际会到达闸门的任务数。
barrier = asyncio.Barrier(3)
tasks = [
asyncio.create_task(worker(name, barrier))
for name in ("worker-a", "worker-b", "worker-c")
]
# 等待所有任务结束,避免主协程提前退出。
await asyncio.gather(*tasks)
asyncio.run(main())

这里的关键不是三个任务执行时间相同,而是它们都必须到达同一个边界。某个任务先到会暂时等待;最后一个任务到达后,本轮等待者一起继续。async with 退出后,Barrier 可以继续用于下一阶段,但每一轮仍要保证参与数量和任务集合一致。
取消或异常时怎么避免永远等待
阶段同步最容易出问题的地方是“有人不会再到达”。如果一个 worker 被取消,其他 worker 仍可能留在 filling 状态。业务代码应在协调者或统一异常处理路径中调用 await barrier.abort(),让当前和后续等待者收到 BrokenBarrierError,然后由外层取消剩余任务、释放资源。
async def run_stage(barrier: asyncio.Barrier) -> None:
try:
# 等待这一轮的固定参与者全部到达。
await barrier.wait()
except asyncio.CancelledError:
# 当前任务退出时打破闸门,避免其它任务无限等待。
await barrier.abort()
raise
except asyncio.BrokenBarrierError:
# 其它任务已经触发 abort(),这里只做统一收尾。
return
async def guarded_wait(barrier: asyncio.Barrier) -> None:
try:
# Barrier 方法本身没有 timeout 参数,用外层 wait_for 控制上限。
await asyncio.wait_for(run_stage(barrier), timeout=2.0)
except asyncio.TimeoutError:
# 超时也要中止闸门,再由调用方取消同一批任务。
await barrier.abort()

不要把 abort() 当成“重试当前阶段”。它表示这一个 Barrier 已经进入 broken 状态;如果要重新组织参与者,应先完成任务取消与资源清理,再创建新的 Barrier,或者在明确可控的情况下调用 reset()。重试前要确认旧任务没有继续持有同一批资源。
上线前检查复用和线程边界
| 检查点 | 建议 |
|---|---|
| 参与数量 | parties 与每轮实际到达任务数严格一致 |
| 超时 | 用 asyncio.wait_for() 包住等待,并在超时路径调用 abort() |
| 复用 | 只有当下一轮仍有固定参与者时复用同一个 Barrier |
| 线程边界 | asyncio 同步原语不是线程安全的,跨线程要改用线程同步原语 |
可以把 Barrier 理解成一扇阶段门:门前是固定数量的准备任务,门后是下一阶段工作。真正的工程重点是为“最后一个任务永远不到达”设计可见的超时和中止路径,而不是只把 parties 调大。
常见问题
Barrier 能不能代替 asyncio.Queue?
不能。Barrier 只同步阶段边界,不保存项目、不分配消费者,也不提供背压;生产者消费者模型应使用队列。
一个任务取消后,其他任务会自动继续吗?
不要这样假设。取消会改变等待者数量,但业务仍需决定是否中止这一轮;对固定参与者的流程,通常应显式调用 abort() 并让外层统一收尾。
Python sqlite3.Connection.iterdump 怎样生成可恢复的 SQL 脚本
- 上一篇
- Python sqlite3.Connection.iterdump 怎样生成可恢复的 SQL 脚本
- 下一篇
- Python contextlib.ExitStack.callback 怎样登记无参数清理函数
-
- 文章 · python教程 | 22分钟前 | python · Python SQLite sqlite3 SQL脚本 Connection iterdump
- Python sqlite3.Connection.iterdump 怎样生成可恢复的 SQL 脚本
- 342浏览 收藏
-
- 文章 · python教程 | 26分钟前 | python · SQLite · Python SQLite sqlite3 Connection total_changes
- Python sqlite3.Connection.total_changes 怎样统计连接累计修改行数
- 422浏览 收藏
-
- 文章 · python教程 | 28分钟前 | python · SQLite · Python order by sqlite3 COLLATE Connection create_collation
- Python sqlite3 自定义排序规则如何参与 ORDER BY
- 215浏览 收藏
-
- 文章 · python教程 | 32分钟前 | JSON · python · Python JSON JSONEncoder iterencode JSON文本
- Python json.JSONEncoder.iterencode 怎样分段生成 JSON 文本
- 211浏览 收藏
-
- 文章 · python教程 | 43分钟前 | python · pathlib · Python pathlib PurePath with_segments 路径派生
- Python pathlib.PurePath.with_segments 怎样让派生路径保留自定义状态
- 255浏览 收藏
-
- 文章 · python教程 | 48分钟前 | python · Python Calendar itermonthdays4 月历
- Python Calendar.itermonthdays4 怎样保留月历补齐日期的年月日
- 369浏览 收藏
-
- 文章 · python教程 | 22小时前 | python · Python 十六进制 二进制调试 memoryview.hex bytes_per_sep
- Python memoryview.hex 怎样为十六进制输出设置分组分隔符
- 480浏览 收藏
-
- 文章 · python教程 | 23小时前 | python · Python decimal context same_quantum
- Python decimal.Context.same_quantum 怎样判断两个十进制数的指数是否相同
- 336浏览 收藏
-
- 文章 · python教程 | 1天前 |
- Python textwrap.TextWrapper.drop_whitespace 怎样控制换行边缘的空白保留
- 238浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1123次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1110次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1283次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1224次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1075次使用
-
- Go并发控制Channel使用场景分析
- 2022-12-23 459浏览
-
- Go并发控制WaitGroup的使用场景分析
- 2023-02-16 264浏览
-
- Golang 语言控制并发 Goroutine的方法
- 2023-01-07 285浏览
-
- Golang 实现分片读取http超大文件流和并发控制
- 2022-12-24 140浏览
-
- Go 并发控制context实现原理剖析(小结)
- 2023-01-01 470浏览
