ひとことまとめ
コンテキスト密集型（エージェント型）ワークロードでは、IBM研究の公開データによると、自社構築のllm-d 1.0分散推論のトークン単価は同等の商用モデルAPIより5〜10倍安くなります。llm-dの強みはオープンソースによる制御性、約98%のプレフィックスキャッシュヒット率、ゼロダウンタイム運用にあり、商用APIの強みは運用不要と弾力的なクォータです。
オブジェクト紹介
- llm-d 1.0：2025年にRed Hat、IBM、Google Cloud、CoreWeave、NVIDIAが共同発起し、現在はCNCF（クラウドネイティブコンピューティング財団）が管理するオープンソースの分散LLM推論プロジェクト。1.0は2026年10月20日にリリースされ、vLLM、SGLangなど複数のモデルサーバーをまたいだ推論オーケストレーションをサポート。
- 商用モデルAPI：モデルベンダーやクラウドベンダーがホストするクローズドソースの推論サービス（例：OpenAI、AnthropicなどのモデルAPI）。トークン課金で、インフラ運用はベンダーが担当。
コアパラメータ比較
| ディメンション | 自社構築 llm-d 1.0 | 商用モデルAPI |
|---|---|---|
| 100万トークンあたりのコスト（混合口径） | 約0.11ドル（IBM Researchの量子誤り訂正ユースケース） | N/A：ベンダーごとに価格が異なる。IBMは同等負荷で自社構築の5〜10倍と公表 |
| プレフィックスキャッシュヒット率 | 約98%（IBM Researchのユースケース） | N/A：各社が一元的に公開していない |
| ピークスループット（デモ） | 毎分660万outputトークン（GLM 5.2、7530億パラメータ、3000並行エージェント、ゼロプリエンプション） | N/A：各社のクォータと負荷による |
| ゼロダウンタイムアップグレード | 対応（1.0で追加：ホットスタンバイ＋ローリング更新） | ベンダーが保証 |
| データとモデルの制御性 | オープンソース（CNCF管理）、自社ホスト、データがドメイン内に留まる | クローズドソースのホスト型、データがベンダー経路を通る |
| ハードウェア選択 | 自社またはマルチクラウドのGPU/TPU（AMD Instinct、NVIDIA、Google TPU） | ベンダーインフラに依存 |
主要な違い
- コスト構造：IBM公式ニュースリリース（2026年10月20日）によると、コンテキスト密集型のエージェント型ワークロードでは、llm-dのデプロイは同等の商用API価格よりトークンあたり5〜10倍安く、最大の節約は入力の多いトラフィック特性で発生します。
- コンテキスト管理：llm-dはプレフィックスキャッシュとキャッシュ認識ルーティングで再計算を削減。IBM Researchのユースケースでは約98%のプレフィックスキャッシュヒット率と、100万トークンあたり約0.11ドルの混合サービスコストを報告。
- 運用モデル：llm-d 1.0はマルチテナントQoS、ゼロダウンタイム運用、v1構成APIを追加し、本番運用に対応。商用APIは運用をベンダーに委ねる一方、カスタマイズと制御の余地は限られます。
- オープンエコシステム：llm-dは25以上の組織から500人超のコントリビューターが参加し、Google CloudはGoogle Kubernetes Engine（GKE）に統合。
選定アドバイス
- GPUクラスタを既に保有し、負荷が長文コンテキストのエージェント型タスク中心で、データ制御とコストを重視する場合は、まずllm-d 1.0の自社構築を評価します（IBM公開のコスト・スループットデータを参照）。
- インフラ運用能力がなく、負荷変動が大きく、迅速な立ち上げが必要な場合は商用APIが適しています。
- ハイブリッドも可能：llm-dはクラウドGPU（CoreWeave Kubernetes Service、GKE）での実行を公式サポートし、同じクラスタ内でワークロードごとに自社構築かホスト型かを選択できます。