一句话总结
2026 年 11 月 5 日，百度正式发布并开源基座模型文心 5.5 Flash Base（ERNIE-5.5-Flash-Base）：稀疏 MoE 架构，总参数 2800 亿、每个 Token 激活 140 亿参数，在 33.5 万亿 Token 上从零预训练，训练上下文 128K、微调与推理支持最长 100 万 Token，首批开放的是未经中训练与后训练的预训练终点权重。
事件概述
2026 年 11 月 5 日，百度正式发布并开源文心 5.5 Flash Base，模型英文名为 ERNIE-5.5-Flash-Base。百度同步开放了预训练终点（pretraining checkpoint）的模型权重，供开发者开展领域适配、指令微调、推理强化与 Agent 训练。
这不是一个可直接对话的成品模型。百度在发布说明中明确，本次开放的是 Base 版本，权重未经中训练（mid-training）与后训练（post-training）；经过后训练的 ERNIE 5.5 Flash 正式版将随后推出。对开发者而言，Base 权重提供的是一个统一起点，而不是开箱即用的聊天产品。
开源入口覆盖主流量化格式与推理生态：Hugging Face 提供 FP8 与 BF16 两版权重，vLLM 提供 ERNIE 专用插件，SGLang 提供部署 Cookbook，NVIDIA NeMo 的 Megatron-Bridge 提供微调示例。百度同时发布了技术博客，说明模型结构、训练系统与评测口径。
关键信息
| 项目 | 内容 |
|---|---|
| 发布时间 | 2026 年 11 月 5 日 |
| 发布主体 | 百度（Baidu） |
| 模型名称 | 文心 5.5 Flash Base（ERNIE-5.5-Flash-Base） |
| 架构 | 稀疏混合专家（MoE） |
| 总参数 | 2800 亿（280B） |
| 每 Token 激活参数 | 140 亿（14B） |
| 预训练数据量 | 33.5 万亿 Token（33.5T） |
| 预训练上下文 | 最长 128K |
| 微调与推理上下文 | 最长 100 万 Token（1M） |
| 网络结构 | 43 层 Transformer，Hidden Size 4096，64 个注意力头 |
| 注意力设计 | HCA（重度压缩注意力）与 MLA（多头潜在注意力）组合的混合稀疏注意力 |
| 专家路由 | Multi-Router Latent MoE，多路由器在 2048 维隐空间共同决策 |
| 训练目标 | ECHO，复用主干最后一层预测后续 Token，不额外增加 MTP 模块 |
| 训练系统 | 分布式 Muon 优化器、FP8 混合精度、FlashMask-4 注意力算子 |
| 开源格式 | FP8 与 BF16 权重；vLLM 插件、SGLang Cookbook、Megatron-Bridge 微调示例 |
| 后续版本 | 经过后训练的 ERNIE 5.5 Flash 正式版将随后推出 |
Base 版本意味着什么
Base 模型与大模型产品之间差着完整的后训练流程。预训练阶段解决的是“把语言、知识、代码与长上下文的统计规律压进参数”，而中训练与后训练才负责指令遵循、对话风格、工具调用、偏好对齐与安全约束。
百度选择开源预训练终点权重，实际是把“往哪个方向继续训练”的决定权交给开发者。需要做行业模型的团队，可以在这套权重上继续灌入领域语料；需要做 Agent 的团队，可以用它做推理强化与工具调用训练；做评测研究的团队，则能在同一初始条件下对比不同后训练策略的效果。代价是使用者必须自行承担后训练成本与安全对齐责任，不能把 Base 权重直接当成可上线产品。
这一发布节奏也与文心系列此前的做法一致：先给底座，再给成品。对生态而言，Base 权重降低了从零预训练的门槛；对百度而言，则是在开发者侧先建立“统一起点”的黏性。
效率优先的三处结构改造
文心 5.5 Flash Base 的设计主线是“每 Token 效率”，具体落在注意力、专家路由与训练目标三个环节。
第一，混合稀疏注意力压缩长上下文开销。 模型把 HCA 与 MLA 组合使用：43 层中有 37 层在压缩 128 倍后的序列上做注意力，负责承载长程历史信息；其余 6 层使用 MLA-DSA，保留细粒度检索能力。这样做的直接收益是 KV Cache 与注意力计算量下降，同时在需要精确定位原文时仍有可用的高分辨率通路。百度还引入低秩门控注意力与虚拟头注意力（VHA），官方称门控投影权重参数因此减少 75%。
第二，多路由器隐空间 MoE 提升专家选择稳健性。 传统 MoE 依赖单一路由器决定 Token 交给哪些专家，一旦路由偏差，计算会集中到少数专家。Multi-Router Latent MoE 让多个独立路由器在 2048 维隐空间共同参与决策，降低单点失误的影响，同时控制专家计算开销。
第三，ECHO 把未来 Token 预测放回主干。 业界常见的多 Token 预测（MTP）会在主干之外增加专用模块，多步预测的损失主要作用于新增模块。ECHO 改为复用主干最后一层承担未来 Token 预测，让多步预测损失直接作用于生成下一个 Token 的参数。附带效果是这一层可充当投机解码（speculative decoding）的内置 draft 模型，不增加额外参数。
此外，模型采用约 20 万词表的 R2L 分词器，对数字按从右到左、最多三位一组切分，针对算术与数字密集型文本做优化；输出头使用 MultiMax，通过可学习的分段温度压制不合理 Token 的长尾。
训练数据与工程实现
预训练使用 33.5 万亿 Token，语料重点建设三个方向：
| 数据类型 | 处理方式 | 目标能力 |
|---|---|---|
| 网页数据 | 多语言抓取、高保真正文抽取、模型驱动的多维质量过滤 | 知识覆盖与语言广度 |
| 代码数据 | 仓库与网页代码去重分级，补充 commit、issue、PR、代码评审、自动生成测试、经 CI 验证的修复 | 代码工程与执行验证 |
| 长文数据 | 天然长文档筛选、拼接语义相近干扰文本、合成检索与引用问答、多跳问答 | 长上下文理解与检索 |
工程侧，分布式 Muon 优化器把 Dense 参数与 MoE 参数的跨机通信合并为一次集合通信，降低数千卡规模下的跨机时延与抖动；FlashMask-4 注意力算子基于 CuTe-DSL 实现，支持 SM90 与 SM100 架构，head dim 最高支持 576（qk）/512（v），可直接用于 HCA 层 512 维宽头的计算。
评测口径与边界
百度在 30 项 Benchmark 上评测了 ERNIE-5.5-Flash-Base，覆盖综合、知识、理科、推理、多语言、代码与长上下文七类能力，并与 DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）同台对比。百度称，四个模型均使用各自公开发布的 checkpoint 与同一套评测框架。
按百度公布的结果，ERNIE-5.5-Flash-Base 在同尺寸基座模型中取得 SOTA，推理、代码、学科能力与长上下文任务的表现较突出；官方口径称 HumanEval+ 较 DeepSeek-V4-Flash-Base 高 12.8 个百分点，MBPP+ 高 14.3 个百分点。
需要区分的是，上述分数由百度组织并公布，属于厂商口径。同一套框架并不等于第三方独立复现，Base 模型的后训练差异也会显著改变下游任务表现。把同尺寸 SOTA 直接等同于“实际产品更强”并不成立，更合理的用法是把它作为选型时的初筛信号，再在自己的任务集上复测。
对开发者与行业的影响
第一，1M Token 推理上下文把长文档、代码仓库与多轮 Agent 轨迹放进同一个上下文窗口，但真实成本取决于 KV Cache 的压缩效率与推理框架支持。HCA 的 128 倍压缩是百度给出的架构解法，实际吞吐仍需按 vLLM、SGLang 的部署配置实测。
第二，Base 权重 + 主流推理生态的组合，降低了“从零预训练”与“从成品模型微调”之间的空白。对没有万卡集群、但有领域数据和后训练能力的团队，这是更现实的路径；对完全没有训练能力的团队，等待正式版或直接调用 API 更划算。
第三，国产基座模型的竞争已经从“参数规模”转向“每 Token 激活效率、长上下文成本与底座可复用性”。文心 5.5 Flash Base 的 280B/14B 激活、DeepSeek-V4-Flash 的 284B/13B 激活、Hy3-preview 的 295B/21B 激活，落在同一档位，比较维度自然转向效率与数据质量。
官方来源
- 新华网报道：百度开源文心5.5 Flash Base
- 百度文心技术博客：ERNIE 5.5 Flash Base Release
- Hugging Face 权重（FP8）：baidu/ERNIE-5.5-Flash-Base
- Hugging Face 权重（BF16）：baidu/ERNIE-5.5-Flash-Base-BF16
- vLLM 插件：baidu/vLLM-ERNIE
- SGLang 部署 Cookbook：ERNIE-5.5-Flash Cookbook