杂项

如何读大模型MoE的总参数与激活参数:以LongCat-2.5为例

以美团LongCat-2.5为例,说明如何区分MoE大模型的总参数与每token激活参数:总参1.6万亿不代表每次计算量,关键看激活参数量。

一句话总结

以美团 LongCat-2.5 为例,说明如何区分 MoE 大模型的总参数与每 token 激活参数:总参 1.6 万亿不代表每次计算量,关键看激活参数量。

为什么要看两个数 ​

MoE(混合专家)模型把参数拆成多个专家子网络,每次只激活其中一部分,因此总参数与实际计算量并不相等。

操作步骤 ​

  1. 先看总参数:LongCat-2.5 为 1.6 万亿,说明模型容量上限大。
  2. 再看每 token 激活参数:约 480 亿,这才是每次前向计算真正用到的参数量。
  3. 用激活参数量估算推理算力开销,而不是总参数。
  4. 对比同类模型时,优先比较激活参数与上下文长度,再看总参数。

常见误区 ​

把 1.6 万亿总参当作每次计算量,会高估推理成本;MoE 模型的实际开销更接近激活参数规模。

参考 ​