CNCF llm-d 1.0 说明了分布式推理的哪些边界
CNCF 在 2026 年 11 月的公告里提到,llm-d 加入 CNCF 并达到 1.0,定位是用于部署和扩展分布式大语言模型推理的开放框架。这里的重点不是“又发布了一个模型”,也不是把某个推理引擎换成更大的版本,而是把请求路由、缓存、模型服务器编排和生产运维放进一套可以组合的云原生基础设施里。
官方地址:https://llm-d.ai/
一句话理解:llm-d 1.0 负责把多种推理引擎和硬件组织成可运营的分布式推理平台;它不替你选择模型,也不保证任何集群都自动获得公告案例里的性能。
- 它是什么:Kubernetes-native 的分布式 LLM 推理栈,连接路由层、模型服务器和运行时资源。
- 它新增什么:多租户质量服务、无停机运维、稳定的 v1 配置 API,以及面向 agent 会话的服务能力。
- 它不承诺什么:单一模型效果、任意硬件的自动适配、脱离底层引擎的零配置部署,以及所有场景都能复现同一性能。
先把“1.0”放回分布式推理语境
从 CNCF 公告的表述看,llm-d 1.0 的里程碑是“分布式推理进入更适合生产运营的阶段”。llm-d 官方首页把它定义为 Kubernetes-native 的开源分布式 LLM 推理栈,可以在集群中运行 vLLM、SGLang 等模型服务器,把单节点推理引擎组织成面向生产的服务。
因此,1.0 的边界首先是基础设施编排和请求治理。它处理的是请求如何到达合适的模型副本、缓存如何被复用、不同阶段如何拆开、工作负载如何扩缩,以及升级时如何维持服务连续性。模型权重、模型本身的能力和业务应用的提示词仍然属于另一层。

官方架构覆盖了哪些技术层
llm-d 官方架构文档把系统分为七个核心功能区。它们不是七个必须一次性启用的产品模块,而是描述了分布式推理平台需要面对的职责边界。
| 功能区 | 解决的问题 | 边界提醒 |
|---|---|---|
| Router | 请求解析、排队、流量控制、Endpoint Picker 和策略路由 | 决定请求去哪里,不等于实现模型前向计算 |
| Model Servers | 承载 vLLM、SGLang、TensorRT-LLM 等推理引擎 | 引擎的算子、显存和模型兼容性仍由具体实现负责 |
| Disaggregation | 拆分 prefill/decode,或为 MoE 提供跨节点并行组织 | 拆分后需要匹配网络、拓扑和数据搬运路径 |
| KV Cache Management | 前缀缓存路由、索引、分层卸载与节点间共享 | 缓存命中效果取决于会话、硬件和工作负载 |
| Orchestration | 用 Kubernetes 工作负载对象管理多节点和多角色拓扑 | 编排对象需要与集群资源和版本配合 |
| Autoscaling | 根据队列、饱和度和 SLO 信号调整副本 | 扩缩容仍受容量、冷启动和资源供应限制 |
| Batch and Async Serving | 提交批量任务或从消息队列异步派发请求 | 离线任务和在线请求是不同的服务形态 |
这张表可以帮助读者避免一个常见误解:llm-d 不是“把所有推理细节重新实现一遍”,而是用路由、缓存、编排和运行时控制把已有模型服务器组织起来。底层引擎仍然是可替换的组成部分。

1.0 的三项变化分别解决什么 Day 2 问题
官方 1.0 文章反复强调 Day 2:模型“能跑起来”是 Day 1,长期承载多租户流量、升级和不可预测的 agent 请求才是 Day 2。1.0 的能力可以按三类理解。
多租户质量服务:把拥塞处理放到路由层
llm-d 1.0 公布了基于优先级和公平性的流量控制。路由器可以按租户或工作负载维护流量队列,在容量紧张时先保护延迟敏感请求,让突发的 agent 流量不会直接把所有后端队列压满。这里的“质量服务”是请求调度与准入边界,不是对模型输出质量的评价。
无停机运维:把升级视为拓扑协同问题
对于拆分 prefill/decode 的部署,升级不能只滚动替换一个 Pod。官方材料提到 Router 的高可用和热备,以及把 prefill、decode 副本作为一个逻辑单元协调就绪和版本。换句话说,1.0 关注的是流量还在时怎样推进变更,而不仅是“部署清单能否创建”。
Agent-aware serving:让会话和上下文进入调度语义
多轮 agent 请求会重复使用上下文。1.0 的 session-aware routing 会尽量把后续请求送回持有对应 KV Cache 的副本;turn-priority scheduling 则把当前请求在一轮交互中的位置纳入调度考虑。它优化的是服务侧对会话状态的利用,不等于替应用保存业务状态,也不等于代理一定理解任务。
哪些结论不能从公告直接推出
新闻里的“跨硬件、跨云、生产验证”和项目首页的性能案例很有参考价值,但不能直接改写成所有部署的保证。至少要保留下面四个限制。
- 不是模型替代品:llm-d 不会替你训练模型、改变模型权重或修复模型本身的事实性问题。
- 不是单一引擎:vLLM、SGLang 和其他模型服务器仍有自己的算子、版本、显存和接口边界。
- 不是无条件硬件抽象:不同加速器需要对应的部署路径、数据搬运库和资源拓扑,统一的控制面不消除硬件差异。
- 不是性能数字承诺:官方案例中的吞吐、首 token 延迟和成本来自特定模型、硬件、流量与配置,不能脱离条件横向套用。
这种区分也解释了为什么 llm-d 文档提供 well-lit paths:它们是针对常见生产模式的可调整部署起点,而不是对任意集群的一键适配证明。
准备采用时先检查五个问题
如果团队想从 llm-d 1.0 开始评估,可以先把下面的问题写进技术方案,而不是先追逐某个性能数字:
- 当前模型服务器是 vLLM、SGLang,还是其他实现?需要的接口和版本是否有对应路径?
- 流量是在线交互、长上下文 agent,还是批量离线任务?三者的队列和扩缩目标不同。
- 是否真的需要 prefill/decode 解耦、跨节点 MoE,或只是需要一个稳定的单池路由层?
- 硬件、网络和 KV Cache 的存放层级能否支持目标拓扑?升级时谁负责协调版本?
- 要保护的 SLO 是 TTFT、生成速率、队列等待,还是租户公平性?没有指标就无法判断调度策略是否合适。
回答完这些问题,才能把“llm-d 1.0 支持什么”翻译成“我们的平台需要启用哪些能力”。官方文档中的架构和 well-lit paths 适合做起点,最终仍要在自己的模型、硬件和流量条件下做部署评估。
相关问题
llm-d 1.0 是新的大模型吗?
不是。它是面向分布式 LLM 推理的 Kubernetes-native 基础设施栈,负责组织路由、模型服务器、缓存、编排和运维能力。
llm-d 会替代 vLLM 或 SGLang 吗?
从官方架构看,vLLM、SGLang 等属于 Model Servers 层,llm-d 在其上提供路由、调度和分布式运行能力,二者是组合关系。
看到官方性能案例就能照搬吗?
不能。案例绑定具体模型、硬件、网络、缓存和流量条件,适合说明能力方向,不是脱离环境的性能保证。
CNCF OpenShell 怎样定位自主代理的运行时治理
- 上一篇
- CNCF OpenShell 怎样定位自主代理的运行时治理
- 下一篇
- 暂无
-
- 科技周边 · 业界新闻 | 25分钟前 | 云原生 · Kubernetes Agent Substrate 代理隔离
- CNCF Agent Substrate 怎样隔离 Kubernetes 上的不可信代理
- 472浏览 收藏
-
- 科技周边 · 业界新闻 | 26分钟前 |
- GitHub Copilot automations 怎样根据结果改进仓库工作流
- 219浏览 收藏
-
- 科技周边 · 业界新闻 | 29分钟前 | GitHub Copilot 跨设备 代理会话 云端代理 session continuity
- GitHub Copilot session continuity 怎样跨设备接续代理会话
- 117浏览 收藏
-
- 科技周边 · 业界新闻 | 32分钟前 |
- GitHub Copilot Projects 怎样把多仓库目标拆成可跟踪任务
- 370浏览 收藏
-
- 科技周边 · 业界新闻 | 19小时前 | 自动化 · github · 开发者工具 · GitHub 代理 事件驱动 SSE WebHook Pull Request Event Streams
- GitHub Event Streams 开放预览后,事件驱动代理怎样减少空轮询
- 429浏览 收藏
-
- 科技周边 · 业界新闻 | 21小时前 |
- Copilot Evals 开放预览后,提示词和工具变化怎样纳入效果比较
- 301浏览 收藏
-
- 科技周边 · 业界新闻 | 21小时前 |
- Copilot CLI 预览 Entra 登录后,托管用户身份怎样关联
- 212浏览 收藏
-
- 科技周边 · 业界新闻 | 22小时前 | 工程实践 · GitHub 代码审查 Copilot code review Repository insights 研发度量
- Repository insights 新增 Copilot 审查结果后,反馈采纳情况怎样呈现
- 381浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1116次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1104次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1277次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1220次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1067次使用
-
- Go chassis云原生微服务开发框架应用编程实战
- 2022-12-29 214浏览
-
- docker的 linux 内核可以和宿主机不一样吗?
- 2023-01-12 318浏览
-
- Go 服务上 Kubernetes 后 HPA 为什么不扩容:requests、CPU 和并发指标怎么选
- 2026-07-17 111浏览
-
- 零基础入门PolarDB-X:搭建高可用系统并联动数据大屏
- 2023-02-24 274浏览
-
- 手把手教你使用 Prometheus 监控 MySQL 与 MariaDB.md
- 2023-02-20 437浏览
