Python asyncio TaskGroup 怎么让子任务失败自动取消同组任务
并发抓取、批量校验或并行写入时,常见需求是“一个子任务已经失败,剩下的同组任务就别继续了”。asyncio.TaskGroup 正是为这个边界设计的:第一个子任务抛出非 CancelledError 异常后,TaskGroup 会取消其余任务,等待它们结束,再把未取消的异常组成 ExceptionGroup 抛出。要点是,子任务必须认真处理取消清理,外层必须用 except* 接住聚合异常。
- TaskGroup 需要 Python 3.11 及以上版本。
- 首个真正失败的任务触发同组取消,取消本身不会被当作业务失败重新汇报。
- 不要吞掉 CancelledError;在清理完成后继续抛出,让 TaskGroup 能正常收尾。
TaskGroup 的失败传播先看一个最小例子
下面让一个任务立即失败,另外两个任务等待较长时间。你不需要手动保存任务列表,也不需要逐个调用 cancel():
import asyncio
async def worker(name, delay, should_fail=False):
try:
await asyncio.sleep(delay)
if should_fail:
raise ValueError(f"{name} 的输入无效")
return f"{name} 完成"
finally:
# 无论成功还是收到取消,都在这里释放本任务持有的资源
print(f"{name} cleanup")
async def main():
try:
async with asyncio.TaskGroup() as group:
group.create_task(worker("校验A", 0.2, True))
group.create_task(worker("校验B", 5))
group.create_task(worker("校验C", 5))
except* ValueError as errors:
# except* 处理 ExceptionGroup 中匹配到的异常子集
for error in errors.exceptions:
print("业务失败:", error)
asyncio.run(main())
运行时,校验A 先抛出 ValueError,校验B 和 校验C 在下一次可取消点收到取消。它们仍会执行 finally,但不会被当成三个业务错误重新打印。这里的 except* 是专门匹配异常组的语法。
为什么其他子任务会收到取消
TaskGroup 的行为可以拆成三层:任务节点负责执行,取消信号负责收拢同组工作,异常组负责向外表达真正的失败。下面的静态关系图只展示这些对象之间的职责边界,不代表运行时序。

第一个非取消异常发生后,TaskGroup 会取消仍在运行的兄弟任务;如果 async with 的主体还没有退出,包含这个上下文的外层任务也可能在等待点收到取消。TaskGroup 会等待全部任务结束,再向外抛出异常组。因此,外层代码不应在看到第一个错误后立即假设其他任务已经完成。
取消是协作式的。子任务只有在下一个 await 等可取消点才会感知它。把清理写在 finally 中最稳妥;如果确实要捕获 CancelledError 记录日志,应在清理结束后重新抛出:
async def consume(queue):
connection = await open_connection()
try:
return await queue.get()
except asyncio.CancelledError:
# 只记录取消,不把取消伪装成正常结果
print("consume cancelled")
raise
finally:
# 关闭连接,避免失败收尾时泄漏资源
await connection.close()
ExceptionGroup 应该怎么接

TaskGroup 等待结束后,会把没有被取消的异常组合起来。可以按异常类型拆分处理,也可以先记录完整的异常组,再统一转换成上层业务错误。注意:传统的 except ValueError 不能替代 except* ValueError 来匹配一组并发异常。
| 现象 | 正确判断 | 处理方式 |
|---|---|---|
| 一个任务抛出 ValueError | 它是触发取消的业务异常 | 用 except* ValueError 分类记录 |
| 兄弟任务收到 CancelledError | 它是收尾信号,不等于业务失败 | 清理后继续 raise |
| 多个任务几乎同时失败 | 可能聚合为多个叶子异常 | 保留 ExceptionGroup 上下文再处理 |
async def run_batch():
try:
async with asyncio.TaskGroup() as group:
group.create_task(validate("订单A"))
group.create_task(validate("订单B"))
except* (ValueError, TypeError) as errors:
# 这里只处理业务校验类异常,未匹配的异常仍会继续传播
for error in errors.exceptions:
print(type(error).__name__, error)
如果需要让调用方知道“批处理失败”,可以在 except* 中记录每个叶子异常后抛出新的业务异常;不要为了让流程变绿而直接 pass。异常组的价值就在于保留并发任务的失败集合。
三个容易让取消语义失效的细节
- 捕获后不重新抛出。 子任务吞掉
CancelledError可能让 TaskGroup 一直等待,或者把任务误判成成功。 - 把 TaskGroup 当作重试器。 它只负责结构化并发和失败收拢,不会自动重试失败任务;重试要放在明确的业务边界外。
- 忽略 Python 版本。 TaskGroup 在 Python 3.11 加入,旧运行时不能直接使用这套 API;部署环境应先确认解释器版本。
排查时按这个顺序看:先确认触发异常的子任务,再确认兄弟任务是否进入 finally,最后检查外层是否用 except* 保留了异常组。这样能把“任务被取消”和“任务真的失败”分开。
相关问题
TaskGroup 会取消已经完成的任务吗?
不会。它只取消仍在运行的同组任务,已经完成的结果不会因为兄弟任务失败而回滚。
可以在子任务里捕获所有异常吗?
可以做局部处理,但不要用宽泛捕获把 CancelledError 一起吞掉;取消清理完成后应继续抛出。
TaskGroup 和 asyncio.gather 有什么区别?
TaskGroup 默认提供同组失败联动取消和异常聚合,更适合有共同生命周期的任务;gather 是否取消其他任务取决于调用方式和取消对象。
Go 切片 append 后原切片数据为什么也变了
- 上一篇
- Go 切片 append 后原切片数据为什么也变了
- 下一篇
- Go 怎么把多个 Reader 拼成一个连续输入流
-
- 文章 · python教程 | 35分钟前 |
- Python asyncio.Queue 如何实现有界生产者消费者
- 330浏览 收藏
-
- 文章 · python教程 | 16小时前 | 文件处理 · python · 临时文件 · Python TempFile NamedTemporaryFile TemporaryFile TemporaryDirectory
- Python 临时文件怎么创建并自动清理
- 345浏览 收藏
-
- 文章 · python教程 | 18小时前 |
- Python sqlite3 批量写入怎么控制提交和回滚
- 325浏览 收藏
-
- 文章 · python教程 | 19小时前 |
- Python 调用命令输出乱码怎么指定编码
- 301浏览 收藏
-
- 文章 · python教程 | 22小时前 |
- Python 复制嵌套列表后为什么原数据也被修改
- 278浏览 收藏
-
- 文章 · python教程 | 23小时前 | python · dataclass · dataclass default_factory dataclasses.field
- Python dataclass 的列表默认值为什么要用 default_factory
- 261浏览 收藏
-
- 文章 · python教程 | 1天前 |
- Python 命令行工具怎么添加子命令
- 443浏览 收藏
-
- 文章 · python教程 | 1天前 |
- Python 相对路径为什么会随着运行目录改变
- 126浏览 收藏
-
- 文章 · python教程 | 1天前 | 文件处理 · csv · Python教程 · 排错 · csv.Writer Python写CSV 多余空行 newline lineterminator
- Python 写 CSV 为什么出现多余空行
- 361浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- SuperCLUE
- SuperCLUE是权威的中文大语言模型综合评测基准,涵盖语言理解、知识应用、AI Agent智能体及安全性等12项核心能力。通过多轮对话与客观测试,定期发布榜单与技术报告,为模型研发、优化及行业选型提供科学依据。
- 167次使用
-
- C-Eval
- 深入了解C-Eval中文评估套件,涵盖52个学科与4级难度。本文详解其功能特点、Zero-shot/Few-shot使用方法及代码示例,助您全面评测LLM中文理解与泛化能力。
- 93次使用
-
- AI Prompt Library
- 探索AI Prompt Library免费资源库,涵盖营销、写作及多场景AI提示词。兼容ChatGPT、Claude等工具,一键复制优化输出,提升工作效率。
- 15次使用
-
- LangGPT
- LangGPT是一种受编程语言启发的结构化提示词设计工具,提供双层框架、模块化模板及变量功能,帮助用户高效编写高质量Prompt。该项目已在GitHub免费开源,适用于内容创作、编程辅助等多场景。
- 28次使用
-
- ClickPrompt
- ClickPrompt是一款专为AI提示词编写者设计的开源在线工具,支持Stable Diffusion绘图、ChatGPT对话及GitHub Copilot代码辅助。提供Prompt自动生成、一键运行、社区分享及可视化优化功能,帮助用户高效获取精准AI输出。
- 61次使用
-
- Python sqlite3 Connection serialize 怎么导出数据库快照:备份窗口、内存占用与恢复校验
- 2026-08-26 501浏览
-
- Python监控网页状态:requests异常处理实战
- 2026-05-29 501浏览
-
- TensorFlow模型部署为API的TF Serving方法
- 2026-05-26 501浏览
-
- Python字符串编码转换:encode与decode详解
- 2026-05-16 501浏览
-
- TensorFlow裁剪无用算子方法详解
- 2026-05-15 501浏览

