Kubernetes AI 推理网关与 vLLM 生产服务工程专题

官方

Kubernetes AI Gateway 工作组公告

Kubernetes 官方介绍 AI Gateway 工作组及推理流量、策略和网关能力方向。

官方

Gateway API Inference Extension 官方入口

官方项目入口，汇总 InferencePool、Endpoint Picker 和推理网关资料。

官方

Inference Extension Implementers 指南

说明数据面如何实现 Endpoint Picker 协议和 InferencePool 相关能力。

官方

Inference Extension v1 API Reference

InferencePool 等资源的官方 v1 API 参考和字段说明。

官方

KServe 官方平台文档

KServe 官方入口，覆盖 Kubernetes 上的预测与生成式 AI 推理服务。

官方

KServe V2 Inference Protocol

Open Inference Protocol 的请求、响应和健康检查契约。

官方

vLLM Kubernetes 部署指南

vLLM 官方 Kubernetes 部署、GPU/CPU、Service、探针和 gRPC 示例。

官方

Kubernetes client-go API

Go 官方生态中的 Kubernetes 客户端 API 文档。