一句话总结
在上下文密集型（agentic）负载下，IBM 研究公开数据显示：自建 llm-d 1.0 分布式推理的每 token 成本可比等效商业模型 API 低 5 到 10 倍；llm-d 的优势在于开源可控、前缀缓存命中率高（约 98%）与支持零停机运维，商业 API 的优势在于免运维与弹性配额。
对象简介
- llm-d 1.0：2025 年由 Red Hat、IBM、Google Cloud、CoreWeave、NVIDIA 共同发起、现由 CNCF（云原生计算基金会）治理的开源分布式 LLM 推理项目；1.0 版本于 2026 年 10 月 20 日发布，支持跨 vLLM、SGLang 等多个模型服务器编排推理。
- 商业托管模型 API：指由模型厂商或云厂商托管的闭源推理服务（如 OpenAI、Anthropic 等提供的模型 API），按 token 计费、由供应商负责基础设施运维。
核心参数对比
| 维度 | 自建 llm-d 1.0 分布式推理 | 商业托管模型 API |
|---|---|---|
| 每百万 token 成本（混合口径） | 约 0.11 美元（IBM Research 量子纠错用例） | N/A：各家定价不同，IBM 称同等负载下为自建方案的 5~10 倍 |
| 前缀缓存命中率 | 约 98%（IBM Research 用例） | N/A：各家未统一公开 |
| 峰值吞吐（演示） | 660 万 output tokens/分钟（GLM 5.2、7530 亿参数、3000 并发 agent、零抢占） | N/A：依各家配额与负载而定 |
| 零停机升级 | 支持（1.0 新增：热备 + 滚动更新） | 由供应商保障 |
| 数据与模型可控性 | 开源（CNCF 治理）、自托管、数据不出域 | 闭源托管，数据经供应商链路 |
| 硬件选择 | 自有或多云 GPU/TPU（AMD Instinct、NVIDIA、Google TPU） | 绑定供应商基础设施 |
关键差异
- 成本结构：IBM 官方新闻稿（2026 年 10 月 20 日）称，在上下文密集型 agentic 负载下，llm-d 部署的每 token 成本比等效商业 API 定价低 5 到 10 倍，最大节省出现在输入密集的流量特征。
- 上下文管理：llm-d 通过前缀缓存与感知路由降低重复计算；IBM Research 用例报告约 98% 的前缀缓存命中率与约 0.11 美元/百万 token 的混合服务成本。
- 运维模型：llm-d 1.0 新增多租户 QoS、零停机运维与 v1 配置 API，适合生产环境持续运营；商业 API 由供应商承担运维，但定制与掌控空间有限。
- 开源生态：llm-d 已有 500 多名贡献者、来自 25 个以上组织，Google Cloud 已将其集成到 Google Kubernetes Engine（GKE）。
选购建议
- 若团队已有 GPU 集群、负载以长上下文 agentic 任务为主、且在意数据可控与成本，优先评估自建 llm-d 1.0（参考 IBM 公开的成本与吞吐数据）。
- 若团队无基础设施运维能力、负载波动大且需要快速上线，选择商业托管 API 更合适。
- 混合方案可行：llm-d 官方支持与云上 GPU 结合（CoreWeave Kubernetes Service、GKE），可在同一集群内按工作负载选择自建或托管。