当前位置:首页 > 文章列表 > 文章 > python教程 > Python asyncio TaskGroup 怎么让子任务失败自动取消同组任务

Python asyncio TaskGroup 怎么让子任务失败自动取消同组任务

来源:17golang原创 2026-09-07 00:59:01 0浏览 收藏

并发抓取、批量校验或并行写入时,常见需求是“一个子任务已经失败,剩下的同组任务就别继续了”。asyncio.TaskGroup 正是为这个边界设计的:第一个子任务抛出非 CancelledError 异常后,TaskGroup 会取消其余任务,等待它们结束,再把未取消的异常组成 ExceptionGroup 抛出。要点是,子任务必须认真处理取消清理,外层必须用 except* 接住聚合异常。

要点速览
  • TaskGroup 需要 Python 3.11 及以上版本。
  • 首个真正失败的任务触发同组取消,取消本身不会被当作业务失败重新汇报。
  • 不要吞掉 CancelledError;在清理完成后继续抛出,让 TaskGroup 能正常收尾。

TaskGroup 的失败传播先看一个最小例子

下面让一个任务立即失败,另外两个任务等待较长时间。你不需要手动保存任务列表,也不需要逐个调用 cancel()

import asyncio

async def worker(name, delay, should_fail=False):
    try:
        await asyncio.sleep(delay)
        if should_fail:
            raise ValueError(f"{name} 的输入无效")
        return f"{name} 完成"
    finally:
        # 无论成功还是收到取消,都在这里释放本任务持有的资源
        print(f"{name} cleanup")

async def main():
    try:
        async with asyncio.TaskGroup() as group:
            group.create_task(worker("校验A", 0.2, True))
            group.create_task(worker("校验B", 5))
            group.create_task(worker("校验C", 5))
    except* ValueError as errors:
        # except* 处理 ExceptionGroup 中匹配到的异常子集
        for error in errors.exceptions:
            print("业务失败:", error)

asyncio.run(main())

运行时,校验A 先抛出 ValueError校验B校验C 在下一次可取消点收到取消。它们仍会执行 finally,但不会被当成三个业务错误重新打印。这里的 except* 是专门匹配异常组的语法。

为什么其他子任务会收到取消

TaskGroup 的行为可以拆成三层:任务节点负责执行,取消信号负责收拢同组工作,异常组负责向外表达真正的失败。下面的静态关系图只展示这些对象之间的职责边界,不代表运行时序。

Python asyncio TaskGroup 中失败任务、取消信号、同组任务和清理逻辑的静态关系
图1:查看失败域、取消域和清理域,理解 TaskGroup 如何把同组任务收拢到同一个生命周期。

第一个非取消异常发生后,TaskGroup 会取消仍在运行的兄弟任务;如果 async with 的主体还没有退出,包含这个上下文的外层任务也可能在等待点收到取消。TaskGroup 会等待全部任务结束,再向外抛出异常组。因此,外层代码不应在看到第一个错误后立即假设其他任务已经完成。

取消是协作式的。子任务只有在下一个 await 等可取消点才会感知它。把清理写在 finally 中最稳妥;如果确实要捕获 CancelledError 记录日志,应在清理结束后重新抛出:

async def consume(queue):
    connection = await open_connection()
    try:
        return await queue.get()
    except asyncio.CancelledError:
        # 只记录取消,不把取消伪装成正常结果
        print("consume cancelled")
        raise
    finally:
        # 关闭连接,避免失败收尾时泄漏资源
        await connection.close()

ExceptionGroup 应该怎么接

帮助读者理解异常组如何保留业务异常、排除取消信号并交给 except* 分类处理。
图2:看清任务域、异常域与处理域之间的关系,区分业务异常和连带取消。

TaskGroup 等待结束后,会把没有被取消的异常组合起来。可以按异常类型拆分处理,也可以先记录完整的异常组,再统一转换成上层业务错误。注意:传统的 except ValueError 不能替代 except* ValueError 来匹配一组并发异常。

现象正确判断处理方式
一个任务抛出 ValueError它是触发取消的业务异常用 except* ValueError 分类记录
兄弟任务收到 CancelledError它是收尾信号,不等于业务失败清理后继续 raise
多个任务几乎同时失败可能聚合为多个叶子异常保留 ExceptionGroup 上下文再处理
async def run_batch():
    try:
        async with asyncio.TaskGroup() as group:
            group.create_task(validate("订单A"))
            group.create_task(validate("订单B"))
    except* (ValueError, TypeError) as errors:
        # 这里只处理业务校验类异常,未匹配的异常仍会继续传播
        for error in errors.exceptions:
            print(type(error).__name__, error)

如果需要让调用方知道“批处理失败”,可以在 except* 中记录每个叶子异常后抛出新的业务异常;不要为了让流程变绿而直接 pass。异常组的价值就在于保留并发任务的失败集合。

三个容易让取消语义失效的细节

  1. 捕获后不重新抛出。 子任务吞掉 CancelledError 可能让 TaskGroup 一直等待,或者把任务误判成成功。
  2. 把 TaskGroup 当作重试器。 它只负责结构化并发和失败收拢,不会自动重试失败任务;重试要放在明确的业务边界外。
  3. 忽略 Python 版本。 TaskGroup 在 Python 3.11 加入,旧运行时不能直接使用这套 API;部署环境应先确认解释器版本。

排查时按这个顺序看:先确认触发异常的子任务,再确认兄弟任务是否进入 finally,最后检查外层是否用 except* 保留了异常组。这样能把“任务被取消”和“任务真的失败”分开。

相关问题

TaskGroup 会取消已经完成的任务吗?

不会。它只取消仍在运行的同组任务,已经完成的结果不会因为兄弟任务失败而回滚。

可以在子任务里捕获所有异常吗?

可以做局部处理,但不要用宽泛捕获把 CancelledError 一起吞掉;取消清理完成后应继续抛出。

TaskGroup 和 asyncio.gather 有什么区别?

TaskGroup 默认提供同组失败联动取消和异常聚合,更适合有共同生命周期的任务;gather 是否取消其他任务取决于调用方式和取消对象。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go 切片 append 后原切片数据为什么也变了Go 切片 append 后原切片数据为什么也变了
上一篇
Go 切片 append 后原切片数据为什么也变了
Go 怎么把多个 Reader 拼成一个连续输入流
下一篇
Go 怎么把多个 Reader 拼成一个连续输入流
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • SuperCLUE中文大模型评测基准:功能、能力维度与应用指南
    SuperCLUE
    SuperCLUE是权威的中文大语言模型综合评测基准,涵盖语言理解、知识应用、AI Agent智能体及安全性等12项核心能力。通过多轮对话与客观测试,定期发布榜单与技术报告,为模型研发、优化及行业选型提供科学依据。
    167次使用
  • C-Eval中文评测基准:大语言模型多学科能力评估指南
    C-Eval
    深入了解C-Eval中文评估套件,涵盖52个学科与4级难度。本文详解其功能特点、Zero-shot/Few-shot使用方法及代码示例,助您全面评测LLM中文理解与泛化能力。
    93次使用
  • AI Prompt Library:免费AI提示词库,助力ChatGPT高效创作与营销
    AI Prompt Library
    探索AI Prompt Library免费资源库,涵盖营销、写作及多场景AI提示词。兼容ChatGPT、Claude等工具,一键复制优化输出,提升工作效率。
    15次使用
  • LangGPT提示词框架:结构化Prompt设计方法与开源工具指南
    LangGPT
    LangGPT是一种受编程语言启发的结构化提示词设计工具,提供双层框架、模块化模板及变量功能,帮助用户高效编写高质量Prompt。该项目已在GitHub免费开源,适用于内容创作、编程辅助等多场景。
    28次使用
  • ClickPrompt:AI提示词生成与优化工具,支持Stable Diffusion、ChatGPT及代码辅助
    ClickPrompt
    ClickPrompt是一款专为AI提示词编写者设计的开源在线工具,支持Stable Diffusion绘图、ChatGPT对话及GitHub Copilot代码辅助。提供Prompt自动生成、一键运行、社区分享及可视化优化功能,帮助用户高效获取精准AI输出。
    61次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码