一言まとめ
2026年11月5日、百度は基盤モデル「文心5.5 Flash Base（ERNIE-5.5-Flash-Base）」を正式に公開し、オープンソース化した。疎なMoEアーキテクチャで総パラメータ2800億、トークン当たり140億をアクティブ化。33.5兆トークンでゼロから事前学習し、学習時の文脈長は128K、微調整と推論では最大100万トークンに対応する。公開されたのは中間学習・事後学習を経ていない事前学習終点の重みである。
出来事の概要
2026年11月5日、百度は基盤モデル「文心5.5 Flash Base」を正式に発表し、事前学習終点（pretraining checkpoint）の重みを公開した。開発者はこの重みを出発点として、領域適応、指示微調整、推論強化、エージェント訓練を進められる。
これはすぐに会話できる完成品ではない。百度は、今回公開したのはBase版であり、中間学習（mid-training）と事後学習（post-training）を経ていないと明記した。事後学習を施した「ERNIE 5.5 Flash」正式版は後日公開される予定である。開発者にとってBaseの重みは共通の出発点であり、すぐ使えるチャット製品ではない。
公開経路は主要な量子化形式と推論エコシステムをカバーする。Hugging FaceではFP8版とBF16版の重みを提供し、vLLMはERNIE専用プラグインを、SGLangはデプロイ用Cookbookを、NVIDIA NeMoのMegatron-Bridgeは微調整例を用意する。百度はあわせて技術ブログを公開し、モデル構造、訓練システム、評価方法を説明した。
主要な情報
| 項目 | 内容 |
|---|---|
| 公開日 | 2026年11月5日 |
| 公開主体 | 百度（Baidu） |
| モデル名 | 文心5.5 Flash Base（ERNIE-5.5-Flash-Base） |
| アーキテクチャ | 疎な混合エキスパート（MoE） |
| 総パラメータ | 2800億（280B） |
| トークン当たりアクティブ | 140億（14B） |
| 事前学習データ | 33.5兆トークン（33.5T） |
| 事前学習の文脈長 | 最大128K |
| 微調整・推論の文脈長 | 最大100万トークン（1M） |
| ネットワーク構成 | Transformer 43層、Hidden Size 4096、アテンションヘッド64 |
| アテンション | HCA（重度圧縮アテンション）とMLA（多頭潜在アテンション）を組み合わせた疎アテンション |
| エキスパート選択 | Multi-Router Latent MoE、2048次元の潜在空間で複数ルーターが共同判断 |
| 訓練目的 | ECHO、主干（バックボーン）最終層を再利用して後続トークンを予測、追加のMTPモジュールを持たない |
| 訓練基盤 | 分散Muon最適化、FP8混合精度、FlashMask-4アテンション演算 |
| 公開形式 | FP8／BF16重み、vLLMプラグイン、SGLang Cookbook、Megatron-Bridge例 |
| 後続 | 事後学習済みのERNIE 5.5 Flash正式版を予定 |
Base版であることの意味
Baseモデルと製品モデルの間には、事後学習の全工程がある。事前学習は言語・知識・コード・長文脈の統計的規則をパラメータに圧縮する段階であり、中間学習と事後学習が指示追従、対話スタイル、ツール呼び出し、選好整合、安全制約を加える。
百度が事前学習終点の重みを公開したことは、どの方向に訓練を続けるかの決定権を開発者に渡すことを意味する。業界特化モデルを作るチームは領域コーパスを追加できる。エージェントを作るチームは推論強化とツール呼び出しの訓練に使える。評価研究のチームは同一の初期条件から異なる事後学習戦略を比較できる。代償として、利用者は追加入手訓練のコストと安全整合の責任を負うことになり、Baseの重みをそのまま商用製品として公開することはできない。
この順序は文心シリーズの従来の進め方と一致する。まず基盤、次に製品である。エコシステム側から見れば、Baseの公開はゼロからの事前学習の障壁を下げる。百度側から見れば、開発者を自社モデル系列につなぐ共通の出発点を作ることになる。
効率を軸にした3つの構造変更
文心5.5 Flash Baseは「トークン当たりの効率」を設計の主線とし、アテンション、エキスパート選択、訓練目的の3点に落とし込んでいる。
第1に、疎アテンションの組み合わせで長文脈のコストを下げる。 モデルはHCAとMLAを併用する。43層のうち37層は128倍に圧縮した系列上でアテンションを計算し、長距離の履歴情報を担う。残る6層はMLA-DSAを使い、細粒度の検索能力を保つ。直接的効果はKVキャッシュとアテンション計算量の削減であり、同時に原文の該当箇所を正確に特定する高解像度の経路も残る。百度は低ランクゲート付きアテンションと仮想ヘッドアテンション（VHA）も導入し、ゲート射影のパラメータが75%減ったとしている。
第2に、マルチルーターの潜在MoEがエキスパート選択を安定させる。 従来のMoEは単一ルーターがトークンの割り当て先を決めるため、経路選択を誤ると計算が少数のエキスパートに集中する。Multi-Router Latent MoEは複数の独立したルーターが2048次元の潜在空間で共同判断し、単一の誤りの影響を抑えながらエキスパート計算量を制御する。
第3に、ECHOが未来トークン予測を主干に戻す。 一般的な多トークン予測（MTP）は主干の外に専用モジュールを追加するため、多段予測の損失は主に新設モジュールに作用する。ECHOは主干の最終層を再利用し、多段予測の損失を次のトークンを生成するパラメータに直接作用させる。副次的効果として、この層は追加パラメータなしで投機的デコード（speculative decoding）の内蔵ドラフトモデルとして機能する。
このほか、語彙約20万のR2Lトークナイザーを採用し、数字を右から左へ最大3桁ずつ区切ることで算術と数字の多いテキストを最適化する。出力ヘッドにはMultiMaxを使い、学習可能な分段温度で不自然な長尾トークンを抑えつつ、妥当な候補の多様性を保つ。
訓練データと実装
事前学習には33.5兆トークンを使い、次の3方向を重点的に構築した。
| データ種別 | 処理 | 狙う能力 |
|---|---|---|
| ウェブ | 多言語クロール、高忠実度の本文抽出、モデル駆動の多次元品質フィルタ | 知識 coverage と言語の広さ |
| コード | リポジトリとウェブコードの重複除去・品質分级、commit、issue、PR、コードレビュー、自動生成テスト、CI検証済み修正を追加 | コード工学と実行検証 |
| 長文 | 自然長文の選別、意味的に近い妨害文の連結、合成検索・引用QA・多段QA | 長文脈理解と検索 |
基盤側では、分散Muon最適化がDenseパラメータとMoEパラメータのマシン間通信を1回の集合通信に統合し、数千GPU規模での遅延と揺らぎを抑える。FlashMask-4アテンション演算はCuTe-DSLで実装され、SM90とSM100アーキテクチャに対応、head dimは最大576（qk）／512（v）で、HCA層の512次元ワイドヘッドに直接適用できる。
評価の範囲と注意点
百度はERNIE-5.5-Flash-Baseを30のベンチマークで評価した。対象は総合、知識、理科、推論、多言語、コード、長文脈の7分類である。比較対象はDeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）で、4モデルとも公開済みcheckpointと同じ評価フレームワークを使ったとしている。
百度の公表結果では、ERNIE-5.5-Flash-Baseは同サイズの基盤モデルでSOTAを達成し、推論、コード、学科能力、長文脈タスクで特に強かった。公式の数字では、HumanEval+はDeepSeek-V4-Flash-Baseより12.8ポイント、MBPP+は14.3ポイント高い。
ただしこれらのスコアは百度が組織し公表したもので、ベンダー側の集計である。同一フレームワークは第三者による独立再現と同じではなく、事後学習の違いは下流タスクの成績を大きく変える。同サイズSOTAを「実際の製品がより強い」と同一視することはできない。妥当な使い方は、モデル選定の一次スクリーニングとして扱い、自社のタスクセットで再測定することである。
開発者と業界への影響
第1に、100万トークンの推論文脈は、長い文書、コードリポジトリ、多ターンのエージェント軌跡を1つの窓に収める。実際のコストはKVキャッシュの圧縮効率と推論フレームワークの対応に依存する。HCAの128倍圧縮は百度のアーキテクチャ上の解であり、実スループットはvLLMやSGLangの構成ごとに測定する必要がある。
第2に、Baseの重みと主要な推論エコシステムの組み合わせは、「ゼロからの事前学習」と「完成モデルの微調整」の間の空白を埋める。領域データと事後学習の能力はあるがGPUクラスタを持たないチームにとって、より現実的な経路になる。訓練能力がまったくないチームは、正式版を待つかAPIを呼ぶ方が安い。
第3に、中国の基盤モデル競争はパラメータ数から、トークン当たりのアクティブ効率、長文脈コスト、基盤の再利用性へと移っている。文心5.5 Flash Baseの280B/14B、DeepSeek-V4-Flashの284B/13B、Hy3-previewの295B/21Bは同じ帯域にあり、比較軸は自然に効率とデータ品質へ移る。
公式ソース
- 新華網の報道：百度开源文心5.5 Flash Base
- 百度文心の技術ブログ：ERNIE 5.5 Flash Base Release
- Hugging Face重み（FP8）：baidu/ERNIE-5.5-Flash-Base
- Hugging Face重み（BF16）：baidu/ERNIE-5.5-Flash-Base-BF16
- vLLMプラグイン：baidu/vLLM-ERNIE
- SGLang Cookbook：ERNIE-5.5-Flash Cookbook