Kubernetes v1.37 工作负载感知调度适合哪些批任务
Kubernetes v1.37 的工作负载感知调度(Workload-Aware Scheduling,WAS)值得关注,但它不是“所有 Job 都换成 gang scheduling”。最适合它的是一组 Pod 必须成组获得资源、共享设备或满足同一拓扑约束的批任务;普通的独立数据处理 Job 继续使用默认的 Pod-by-Pod 调度通常更简单。
官方地址:https://kubernetes.io/
- 分布式训练、MPI/集体通信和强耦合批任务,优先评估 gang scheduling。
- v1.37 中 Workload、PodGroup、工作负载感知抢占和 DRA ResourceClaim 支持进入 Beta,但默认仍关闭。
- CompositePodGroup 与多层拓扑感知调度是 Alpha,适合测试集群验证,不应直接当作生产默认方案。
先看任务是不是“缺一组就没法跑”
判断标准不是 Job 的名字,而是 Pod 之间有没有硬依赖。分布式训练常见的 driver、worker 需要同时拿到足够资源;MPI 或其他集体通信任务如果只启动一部分进程,已经运行的 Pod 也无法产生有效结果。这类任务适合用 gang scheduling 表达“至少一起安排多少个成员”。
相反,图片转码、日志切片、独立 ETL 分片这类任务通常彼此独立。只要一个 Pod 能单独完成一份输入,就没有必要为了全组等待而牺牲调度弹性。此时采用默认的 basic 策略,反而能让空闲节点更快接收工作。

v1.37 的能力分别解决什么批任务问题
v1.37 把 Workload 和 PodGroup API、gang scheduling 以及 Workload-Aware Preemption 推进到 Beta。PodGroup 作为调度队列中的整体对象,有助于让成员共享一致的排队语义;minCount 可以调整,也给弹性批任务留下了逐步扩缩的空间。
| 任务特征 | 可评估的能力 | 采用判断 |
|---|---|---|
| 一组 Pod 必须同时获得资源 | Workload、PodGroup、gang | 适合先做灰度 |
| 高优先级整组任务需要让出资源 | 工作负载感知抢占、disruptionMode | 先验证整组驱逐语义 |
| 所有成员要位于同一可用区或层级拓扑内 | 拓扑感知调度、CompositePodGroup | v1.37 仍偏 Alpha,谨慎试用 |
| 多个 Pod 共享一份设备资源声明 | DRAWorkloadResourceClaims | 确认四个组件的 gate 一致 |
对标准 Job,v1.37 增加了显式的 .spec.scheduling。其中 basic 保持原来的逐 Pod 调度,gang 才会让 Job 控制器生成并关联 Workload 与 PodGroup。这样做的好处是策略写在任务声明中,不必再根据 Job 的形状猜测调度意图。
启用前要分清 Beta、Alpha 和默认行为
最容易踩坑的是看到“进入 Beta”就以为安装 v1.37 后自动生效。官方说明中,GenericWorkload 仍需要在 kube-apiserver、kube-controller-manager 和 kube-scheduler 上手动开启;Workload/PodGroup 清单也要迁移到 scheduling.k8s.io/v1beta1。DRA 工作负载资源声明则需要在 apiserver、controller-manager、scheduler 和 kubelet 保持一致。
CompositePodGroup、多层拓扑感知调度、Job 控制器集成以及 PodGroup 的抢占策略仍属于 Alpha 侧能力,启用它们还涉及不同的 feature gate 和 API 版本。尤其是层级拓扑约束,解决的是“整组在一个 zone、子组再在不同 rack 内共置”的复杂场景,不应为了普通批处理增加这层复杂度。

用一轮小规模试验决定是否采用
先选一个可回放的分布式批任务,把并行度、每个 Pod 的资源请求、优先级和拓扑标签固定下来。试验时观察四件事:资源不足时是否整组等待;满足 minCount 后是否能同时推进;抢占发生时是否符合 single 或 all 的预期;禁用 DRA gate 时是否意外创建了不该出现的 ResourceClaim。
如果任务只是“很多份独立输入”,保留 basic;如果缺少任意成员就没有产出,再考虑 gang;如果还要求设备共享或多层共置,才逐项引入 DRA、拓扑和 CompositePodGroup。每增加一项能力,都应单独记录 gate、API 版本、回滚方式和待调度任务的告警条件。
常见问题
普通 Kubernetes Job 是否必须使用 gang scheduling?
不需要。省略 .spec.scheduling 或选择 basic 时,行为仍是标准的逐 Pod 调度。
gang 的 minCount 应该怎么定?
先按任务能产生有效结果所需的最小成员数设定,不要盲目等于最大并行度;v1.37 支持在运行中调整它,但仍要验证弹性变化对应用的影响。
CompositePodGroup 适合直接上生产吗?
它面向层级工作负载和多层拓扑约束,目前是 Alpha。除非任务确实需要 zone 与 rack 等多层共置,否则先使用更简单的 Job 或扁平 PodGroup。
WAS 和 Kueue 是互相替代吗?
不是。WAS 解决工作负载级的成组调度、拓扑和抢占语义,Kueue 仍可承担队列与配额管理;两者的互操作应以具体版本和控制器支持情况为准。
Go http.ServeContent 如何控制缓存头
- 上一篇
- Go http.ServeContent 如何控制缓存头
- 下一篇
- Go panicreturn 如何限定异常范围
-
- 科技周边 · 业界新闻 | 2小时前 |
- Kubernetes v1.37 Node Lifecycle Conditions 怎么读节点状态
- 380浏览 收藏
-
- 科技周边 · 业界新闻 | 3小时前 | 云原生 · 调度 · kubernetes · Pod扩容 · Kubernetes Deferred v1.37 Pod原地扩容 调度器抢占
- Kubernetes v1.37 Pod 原地扩容抢占如何影响调度队列
- 120浏览 收藏
-
- 科技周边 · 业界新闻 | 4小时前 | 云原生 · 监控 · prometheus · kubernetes · prometheus Kubernetes NativeHistograms 原生直方图
- Kubernetes v1.37 原生直方图 Beta 后 Prometheus 兼容点怎么查
- 122浏览 收藏
-
- 科技周边 · 业界新闻 | 6小时前 |
- 开源项目宣布毕业后企业升级流程应先核对什么
- 407浏览 收藏
-
- 科技周边 · 业界新闻 | 7小时前 | 云原生 · kubernetes · CNCF · 行业报告 · 云原生 Kubernetes 采用率 CNCF Survey
- 云原生报告中的调查比例为什么不能直接当作采用率
- 484浏览 收藏
-
- 科技周边 · 业界新闻 | 8小时前 | CI/CD · gitHub actions · GitHub Changelog · 生产流水线 ·
- GitHub Changelog 如何筛选影响生产流水线的变更
- 194浏览 收藏
-
- 科技周边 · 业界新闻 | 9小时前 | opentelemetry · 可观测性 · CNCF · 语义约定 · 指标日志链路 · OpenTelemetry毕业 OpenTelemetry语义约定 指标日志链路统一命名 Semantic Conventions 可观测性字段规范
- OpenTelemetry 毕业后如何规划指标、日志和链路统一命名
- 146浏览 收藏
-
- 科技周边 · 业界新闻 | 12小时前 | 依赖管理 · gitHub actions · 业界新闻 · 持续集成 · 项目依赖 GitHub Actions runner images 镜像更新 CI兼容性
- GitHub Actions runner 镜像更新前如何验证项目依赖
- 152浏览 收藏
-
- 科技周边 · 业界新闻 | 13小时前 |
- KubeCon 议题中 GPU 调度和可观测性如何分别落到工程任务
- 351浏览 收藏
-
- 科技周边 · 业界新闻 | 14小时前 | 云原生 · 容器镜像 · 镜像供应链 · Dockerfile Cloud Native Buildpacks Buildpacks
- 云原生应用采用 Buildpacks 后 Dockerfile 还要保留什么
- 487浏览 收藏
-
- 科技周边 · 业界新闻 | 15小时前 |
- GitHub CodeQL 支持 Linux ARM64 后如何调整扫描矩阵
- 457浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 110次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 26次使用
-
- OpenCompass
- OpenCompass是上海AI实验室推出的开源大模型评测平台,提供CompassKit、CompassHub和CompassRank三大核心组件,支持LLM及多模态模型的一站式标准化评估与排行榜查询。
- 44次使用
-
- AGI-Eval
- AGI-Eval是由上海交大等高校联合发布的大模型评测社区,提供公正透明的LLM能力榜单、多领域评测集及Data Studio数据服务,助力AI模型性能评估与NLP科研开发。
- 25次使用
-
- SuperCLUE
- SuperCLUE是权威的中文大语言模型综合评测基准,涵盖语言理解、知识应用、AI Agent智能体及安全性等12项核心能力。通过多轮对话与客观测试,定期发布榜单与技术报告,为模型研发、优化及行业选型提供科学依据。
- 264次使用
-
- Go chassis云原生微服务开发框架应用编程实战
- 2022-12-29 214浏览
-
- 一文详解Golang协程调度器scheduler
- 2022-12-31 231浏览
-
- 容器化 | 一文搞定镜像构建方式选型
- 2023-01-09 483浏览
-
- U产品快报 | UK8S支持K8S 1.18版本、URTC新版Webdemo上线等重要更新
- 2023-01-12 216浏览
-
- RadonDB MySQL Kubernetes 2.2.1 发布!
- 2023-01-12 260浏览

