当前位置:首页 > 文章列表 > 文章 > python教程 > Python asyncio TaskGroup 怎么让子任务失败自动取消同组任务

Python asyncio TaskGroup 怎么让子任务失败自动取消同组任务

来源:17golang原创 2026-09-07 00:59:01 0浏览 收藏

并发抓取、批量校验或并行写入时,常见需求是“一个子任务已经失败,剩下的同组任务就别继续了”。asyncio.TaskGroup 正是为这个边界设计的:第一个子任务抛出非 CancelledError 异常后,TaskGroup 会取消其余任务,等待它们结束,再把未取消的异常组成 ExceptionGroup 抛出。要点是,子任务必须认真处理取消清理,外层必须用 except* 接住聚合异常。

要点速览
  • TaskGroup 需要 Python 3.11 及以上版本。
  • 首个真正失败的任务触发同组取消,取消本身不会被当作业务失败重新汇报。
  • 不要吞掉 CancelledError;在清理完成后继续抛出,让 TaskGroup 能正常收尾。

TaskGroup 的失败传播先看一个最小例子

下面让一个任务立即失败,另外两个任务等待较长时间。你不需要手动保存任务列表,也不需要逐个调用 cancel():

import asyncio

async def worker(name, delay, should_fail=False):
    try:
        await asyncio.sleep(delay)
        if should_fail:
            raise ValueError(f"{name} 的输入无效")
        return f"{name} 完成"
    finally:
        # 无论成功还是收到取消,都在这里释放本任务持有的资源
        print(f"{name} cleanup")

async def main():
    try:
        async with asyncio.TaskGroup() as group:
            group.create_task(worker("校验A", 0.2, True))
            group.create_task(worker("校验B", 5))
            group.create_task(worker("校验C", 5))
    except* ValueError as errors:
        # except* 处理 ExceptionGroup 中匹配到的异常子集
        for error in errors.exceptions:
            print("业务失败:", error)

asyncio.run(main())

运行时,校验A 先抛出 ValueError,校验B 和 校验C 在下一次可取消点收到取消。它们仍会执行 finally,但不会被当成三个业务错误重新打印。这里的 except* 是专门匹配异常组的语法。

为什么其他子任务会收到取消

TaskGroup 的行为可以拆成三层:任务节点负责执行,取消信号负责收拢同组工作,异常组负责向外表达真正的失败。下面的静态关系图只展示这些对象之间的职责边界,不代表运行时序。

Python asyncio TaskGroup 中失败任务、取消信号、同组任务和清理逻辑的静态关系
图1:查看失败域、取消域和清理域,理解 TaskGroup 如何把同组任务收拢到同一个生命周期。

第一个非取消异常发生后,TaskGroup 会取消仍在运行的兄弟任务;如果 async with 的主体还没有退出,包含这个上下文的外层任务也可能在等待点收到取消。TaskGroup 会等待全部任务结束,再向外抛出异常组。因此,外层代码不应在看到第一个错误后立即假设其他任务已经完成。

取消是协作式的。子任务只有在下一个 await 等可取消点才会感知它。把清理写在 finally 中最稳妥;如果确实要捕获 CancelledError 记录日志,应在清理结束后重新抛出:

async def consume(queue):
    connection = await open_connection()
    try:
        return await queue.get()
    except asyncio.CancelledError:
        # 只记录取消,不把取消伪装成正常结果
        print("consume cancelled")
        raise
    finally:
        # 关闭连接,避免失败收尾时泄漏资源
        await connection.close()

ExceptionGroup 应该怎么接

帮助读者理解异常组如何保留业务异常、排除取消信号并交给 except* 分类处理。
图2:看清任务域、异常域与处理域之间的关系,区分业务异常和连带取消。

TaskGroup 等待结束后,会把没有被取消的异常组合起来。可以按异常类型拆分处理,也可以先记录完整的异常组,再统一转换成上层业务错误。注意:传统的 except ValueError 不能替代 except* ValueError 来匹配一组并发异常。

现象正确判断处理方式
一个任务抛出 ValueError它是触发取消的业务异常用 except* ValueError 分类记录
兄弟任务收到 CancelledError它是收尾信号,不等于业务失败清理后继续 raise
多个任务几乎同时失败可能聚合为多个叶子异常保留 ExceptionGroup 上下文再处理
async def run_batch():
    try:
        async with asyncio.TaskGroup() as group:
            group.create_task(validate("订单A"))
            group.create_task(validate("订单B"))
    except* (ValueError, TypeError) as errors:
        # 这里只处理业务校验类异常,未匹配的异常仍会继续传播
        for error in errors.exceptions:
            print(type(error).__name__, error)

如果需要让调用方知道“批处理失败”,可以在 except* 中记录每个叶子异常后抛出新的业务异常;不要为了让流程变绿而直接 pass。异常组的价值就在于保留并发任务的失败集合。

三个容易让取消语义失效的细节

  1. 捕获后不重新抛出。 子任务吞掉 CancelledError 可能让 TaskGroup 一直等待,或者把任务误判成成功。
  2. 把 TaskGroup 当作重试器。 它只负责结构化并发和失败收拢,不会自动重试失败任务;重试要放在明确的业务边界外。
  3. 忽略 Python 版本。 TaskGroup 在 Python 3.11 加入,旧运行时不能直接使用这套 API;部署环境应先确认解释器版本。

排查时按这个顺序看:先确认触发异常的子任务,再确认兄弟任务是否进入 finally,最后检查外层是否用 except* 保留了异常组。这样能把“任务被取消”和“任务真的失败”分开。

相关问题

TaskGroup 会取消已经完成的任务吗?

不会。它只取消仍在运行的同组任务,已经完成的结果不会因为兄弟任务失败而回滚。

可以在子任务里捕获所有异常吗?

可以做局部处理,但不要用宽泛捕获把 CancelledError 一起吞掉;取消清理完成后应继续抛出。

TaskGroup 和 asyncio.gather 有什么区别?

TaskGroup 默认提供同组失败联动取消和异常聚合,更适合有共同生命周期的任务;gather 是否取消其他任务取决于调用方式和取消对象。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go 切片 append 后原切片数据为什么也变了Go 切片 append 后原切片数据为什么也变了
上一篇
Go 切片 append 后原切片数据为什么也变了
Go 怎么把多个 Reader 拼成一个连续输入流
下一篇
Go 怎么把多个 Reader 拼成一个连续输入流
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    603次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    643次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    673次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    639次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    460次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码