一言まとめ
美団LongCat-2.5を例に、MoEの総パラメータと1トークル活性化パラメータの区別を解説：総数1.6兆は毎回の計算量ではなく、活性化量が肝心。
なぜ2つの数が要るのか
MoE（混合専門家）モデルはパラメータを専門家サブネットに分け、毎回一部だけを活性化する。そのため総パラメータと実際の計算量は一致しない。
操作手順
- まず総パラメータを見る：LongCat-2.5は1.6兆で、容量の上限が大きい。
- 次に1トークル活性化パラメータ：約480億。前向き計算で実際に使う量。
- 推論コストは総パラメータでなく活性化パラメータで見積もる。
- 他モデル比較では、まず活性化パラメータとコンテキスト長を比べ、次に総数を見る。
よくある誤解
総数1.6兆を毎回の計算量と思うと推論コストを過大評価する。MoEの実コストは活性化パラメータ規模に近い。
参考
- 美団公式：美団がLongCat-2.5を発表