Kubernetes 面向 AI 工作负载时为什么更依赖平台工程

Kubernetes 面向 AI 工作负载时更依赖平台工程，核心原因不是“AI 必须换一套平台”，而是模型训练、推理和数据处理把资源调度、交付追踪、观测与治理同时推到了生产环境。近期 CNCF 资料显示，使用 Kubernetes 承载部分或全部生成式 AI 推理的组织已经不少，但持续部署模型的比例仍低，这说明“能运行”与“能稳定运营”之间还有明显距离。

AI 让 Kubernetes 平台从容器运行底座，进一步变成资源、模型和策略的统一产品。平台团队的价值，是把 GPU、队列、评估、观测和回滚封装成开发者可以重复使用的路径。

• 资源变化：AI 同时消耗 CPU、内存、GPU 和高速互联，单看 Pod 副本数不够。
• 交付变化：要追踪的对象从代码扩展到模型、配置、评估结果和运行时。
• 协作变化：开发者需要自助提交，平台团队仍要守住配额、成本、安全和回滚边界。

这条行业信号真正说明了什么

CNCF 近期文章给出的观察是：不少组织已经用 Kubernetes 承载生成式 AI 的部分推理工作，但每天部署模型的组织仍是少数，另有相当一部分平台团队还没有编排 AI 工作负载。这里的重点不是某个百分比本身，而是平台成熟度出现了断层：集群可以启动模型服务，并不代表团队已经解决了容量、版本、延迟、成本和责任归属。

因此，“更依赖平台工程”不是把所有 AI 都迁移进 Kubernetes 的口号，而是要把一次性的实验动作变成有边界的重复流程。模型在哪里、使用哪类加速器、评估是否通过、线上谁负责，这些问题都要能够被平台记录和复用。

为什么 AI 先改变的是资源治理

传统 Web 服务常以 CPU、内存和副本数描述需求；AI 工作负载还会关心 GPU 型号、显存、设备共享、节点拓扑、跨节点通信和队列等待。训练任务可能需要多个节点同时就绪，推理服务则更关心模型加载时间、令牌吞吐和加速器利用率。平台工程要解决的不是“再加几台 GPU 机器”，而是让这些资源可以被声明、分配、计量和回收。

Kubernetes 1.34 中 Dynamic Resource Allocation 的核心 API 已达到 GA，说明专用设备正在从节点上的“特殊插件”变成更可声明的资源对象。Kueue 则把工作负载准入、配额、公平共享、优先级和拓扑感知放在 Kubernetes 之上。对平台团队来说，这意味着资源策略需要成为产品契约：开发者表达需求，平台决定何时准入、使用哪种资源以及何时让出容量。

模型把 CI/CD 变成更长的交付链

普通应用交付通常围绕代码构建、测试和部署；AI 服务至少还要管理模型文件、推理运行时、提示或路由配置、评估结果以及硬件约束。只给镜像打版本而不记录模型版本，出现质量下降时很难回答“到底变了什么”。平台工程因此要把模型当作一等交付物，让代码、模型、配置和评估结果能够关联查询。

一条实用的最小链路可以是：模型登记后绑定资源画像，先做离线评估，再进入灰度部署；上线后记录延迟、吞吐、模型加载和加速器使用情况。指标异常时，回滚对象不只是 Deployment，还包括模型与配置组合。这个过程不要求平台一开始就包办所有 MLOps，但必须让责任边界和审计线索可见。

平台工程要给 AI 团队什么黄金路径

平台真正应该交付的是“少做基础设施决定”的自助路径，而不是再建一个复杂门户。开发者提交模型、输入输出协议和资源需求，平台自动补齐命名空间、配额、部署模板、观测和策略；需要人工审批的地方要明确显示原因，不能把失败隐藏成一个模糊的 Pending。

落地时可以按四个检查点推进：第一，能否看见每个租户的 GPU 配额、排队时间和实际使用；第二，模型与镜像、配置是否能一起回溯；第三，推理服务是否同时观察业务延迟和令牌吞吐；第四，失败时能否一键回到上一组模型与配置。四项都没有时，继续堆工具只会增加平台复杂度。

什么时候不该马上做“大平台”

如果团队只有一个低流量外部模型 API，或者 AI 仍停留在个人实验阶段，先用简单的部署模板、资源上限和日志规范建立最小闭环即可。平台化的触发条件通常是多团队共享昂贵加速器、训练与推理互相抢资源、模型频繁更新，或者故障已经需要跨团队排查。

采用顺序建议是先统一资源和身份边界，再统一交付记录，最后扩展评估、观测和跨集群调度。这样做的好处是每一步都有可见结果，也能避免把平台工程误解为购买更多组件。Kubernetes 仍然是底座，但 AI 能否稳定运行，取决于平台是否把复杂性收进可解释、可回滚的产品路径。

相关问题

Kubernetes 能运行 GPU，为什么还需要 Kueue 这类平台能力？ Kubernetes 负责基础调度，Kueue 额外处理工作负载准入、配额、公平共享、优先级和等待状态，适合多个团队争用异构资源的场景。

AI 平台最先应该监控什么？ 先把排队时间、模型加载时间、推理延迟、令牌吞吐、加速器利用率和错误率关联起来；单看 GPU 利用率无法判断请求是在排队、加载模型还是处理业务。

资料来源

• CNCF：Your Kubernetes platform is ready for containers. Is it ready for AI?
• CNCF：The platform under the model
• Kubernetes：v1.34 DRA 已达到 GA
• Kueue 官方文档：Overview