当前位置:首页 > 文章列表 > 科技周边 > 业界新闻 > Kubernetes v1.37 工作负载感知调度适合哪些批任务

Kubernetes v1.37 工作负载感知调度适合哪些批任务

来源:17golang原创 2026-09-13 05:39:06 0浏览 收藏

Kubernetes v1.37 的工作负载感知调度(Workload-Aware Scheduling,WAS)值得关注,但它不是“所有 Job 都换成 gang scheduling”。最适合它的是一组 Pod 必须成组获得资源、共享设备或满足同一拓扑约束的批任务;普通的独立数据处理 Job 继续使用默认的 Pod-by-Pod 调度通常更简单。

官方地址:https://kubernetes.io/

要点速览
  • 分布式训练、MPI/集体通信和强耦合批任务,优先评估 gang scheduling。
  • v1.37 中 Workload、PodGroup、工作负载感知抢占和 DRA ResourceClaim 支持进入 Beta,但默认仍关闭。
  • CompositePodGroup 与多层拓扑感知调度是 Alpha,适合测试集群验证,不应直接当作生产默认方案。

先看任务是不是“缺一组就没法跑”

判断标准不是 Job 的名字,而是 Pod 之间有没有硬依赖。分布式训练常见的 driver、worker 需要同时拿到足够资源;MPI 或其他集体通信任务如果只启动一部分进程,已经运行的 Pod 也无法产生有效结果。这类任务适合用 gang scheduling 表达“至少一起安排多少个成员”。

相反,图片转码、日志切片、独立 ETL 分片这类任务通常彼此独立。只要一个 Pod 能单独完成一份输入,就没有必要为了全组等待而牺牲调度弹性。此时采用默认的 basic 策略,反而能让空闲节点更快接收工作。

Kubernetes v1.37 工作负载感知调度中强耦合批任务与独立批任务的适用边界说明图
图1:工作负载适配示意图;左侧是需要成组资源的强耦合任务,右侧是可独立完成的普通批任务。

v1.37 的能力分别解决什么批任务问题

v1.37 把 Workload 和 PodGroup API、gang scheduling 以及 Workload-Aware Preemption 推进到 Beta。PodGroup 作为调度队列中的整体对象,有助于让成员共享一致的排队语义;minCount 可以调整,也给弹性批任务留下了逐步扩缩的空间。

任务特征可评估的能力采用判断
一组 Pod 必须同时获得资源Workload、PodGroup、gang适合先做灰度
高优先级整组任务需要让出资源工作负载感知抢占、disruptionMode先验证整组驱逐语义
所有成员要位于同一可用区或层级拓扑内拓扑感知调度、CompositePodGroupv1.37 仍偏 Alpha,谨慎试用
多个 Pod 共享一份设备资源声明DRAWorkloadResourceClaims确认四个组件的 gate 一致

对标准 Job,v1.37 增加了显式的 .spec.scheduling。其中 basic 保持原来的逐 Pod 调度,gang 才会让 Job 控制器生成并关联 Workload 与 PodGroup。这样做的好处是策略写在任务声明中,不必再根据 Job 的形状猜测调度意图。

启用前要分清 Beta、Alpha 和默认行为

最容易踩坑的是看到“进入 Beta”就以为安装 v1.37 后自动生效。官方说明中,GenericWorkload 仍需要在 kube-apiserver、kube-controller-manager 和 kube-scheduler 上手动开启;Workload/PodGroup 清单也要迁移到 scheduling.k8s.io/v1beta1。DRA 工作负载资源声明则需要在 apiserver、controller-manager、scheduler 和 kubelet 保持一致。

CompositePodGroup、多层拓扑感知调度、Job 控制器集成以及 PodGroup 的抢占策略仍属于 Alpha 侧能力,启用它们还涉及不同的 feature gate 和 API 版本。尤其是层级拓扑约束,解决的是“整组在一个 zone、子组再在不同 rack 内共置”的复杂场景,不应为了普通批处理增加这层复杂度。

Kubernetes v1.37 工作负载感知调度的 Beta 核心能力与 Alpha 层级拓扑能力分层示意图
图2:能力分层示意图;核心 Workload/PodGroup 位于 Beta 层,CompositePodGroup 和多层拓扑位于需要额外验证的 Alpha 层。

用一轮小规模试验决定是否采用

先选一个可回放的分布式批任务,把并行度、每个 Pod 的资源请求、优先级和拓扑标签固定下来。试验时观察四件事:资源不足时是否整组等待;满足 minCount 后是否能同时推进;抢占发生时是否符合 singleall 的预期;禁用 DRA gate 时是否意外创建了不该出现的 ResourceClaim。

如果任务只是“很多份独立输入”,保留 basic;如果缺少任意成员就没有产出,再考虑 gang;如果还要求设备共享或多层共置,才逐项引入 DRA、拓扑和 CompositePodGroup。每增加一项能力,都应单独记录 gate、API 版本、回滚方式和待调度任务的告警条件。

常见问题

普通 Kubernetes Job 是否必须使用 gang scheduling?

不需要。省略 .spec.scheduling 或选择 basic 时,行为仍是标准的逐 Pod 调度。

gang 的 minCount 应该怎么定?

先按任务能产生有效结果所需的最小成员数设定,不要盲目等于最大并行度;v1.37 支持在运行中调整它,但仍要验证弹性变化对应用的影响。

CompositePodGroup 适合直接上生产吗?

它面向层级工作负载和多层拓扑约束,目前是 Alpha。除非任务确实需要 zone 与 rack 等多层共置,否则先使用更简单的 Job 或扁平 PodGroup。

WAS 和 Kueue 是互相替代吗?

不是。WAS 解决工作负载级的成组调度、拓扑和抢占语义,Kueue 仍可承担队列与配额管理;两者的互操作应以具体版本和控制器支持情况为准。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go http.ServeContent 如何控制缓存头Go http.ServeContent 如何控制缓存头
上一篇
Go http.ServeContent 如何控制缓存头
Go panicreturn 如何限定异常范围
下一篇
Go panicreturn 如何限定异常范围
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    110次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    26次使用
  • OpenCompass大模型评测体系详解:功能、使用指南与应用场景
    OpenCompass
    OpenCompass是上海AI实验室推出的开源大模型评测平台,提供CompassKit、CompassHub和CompassRank三大核心组件,支持LLM及多模态模型的一站式标准化评估与排行榜查询。
    44次使用
  • AGI-Eval大模型评测平台:权威榜单、数据集与人机协同评测方案
    AGI-Eval
    AGI-Eval是由上海交大等高校联合发布的大模型评测社区,提供公正透明的LLM能力榜单、多领域评测集及Data Studio数据服务,助力AI模型性能评估与NLP科研开发。
    25次使用
  • SuperCLUE中文大模型评测基准:功能、能力维度与应用指南
    SuperCLUE
    SuperCLUE是权威的中文大语言模型综合评测基准,涵盖语言理解、知识应用、AI Agent智能体及安全性等12项核心能力。通过多轮对话与客观测试,定期发布榜单与技术报告,为模型研发、优化及行业选型提供科学依据。
    264次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码