要点
同じ重みから14の変体を出す利点は場面に応じて選べることだが、欠点はすべてのスコアを構成に合わせて読まなければならないことだ。baseの71.16と蒸留版の70.34は同じものではない。
指標の概要
| 指標 | 値 | 基準と出典 |
|---|---|---|
| チェックポイント数 | 14 | Hugging Faceコレクション |
| パラメータ段階 | 3B/8B | 公式モデルカード |
| 変体の種類 | base、instruct、少ステップ蒸留、自己投機 | コレクションの分類 |
| 生成方式 | 連続拡散、16次元埋め込み空間でノイズ除去 | 技術報告 |
| ブロックサイズ | 64トークン/ブロック | 技術報告 |
| 学習の起点 | 約1兆トークンの自己回帰チェックポイントからウォームスタート | 技術報告 |
| 拡散学習量 | 約0.3兆トークン | 技術報告 |
| ライセンス | NVIDIA Nemotron Open Model License | モデルカード |
| CPU対応 | なし | モデルカード |
| 量子化変体 | なし | モデルカード |
14の内訳
| 種類 | 数 | 内容 |
|---|---|---|
| base | 2 | 3Bと8Bが各1、指示微調整なし |
| instruct | 2 | 3Bと8Bが各1、8B instructはコンテキスト8192 |
| 少ステップ蒸留 | 8 | NFE(ノイズ除去ステップ)2/4/8/16の4段階×2サイズ |
| 自己投機 | 2 | 各サイズに1つ、デコード加速用 |
NFEは拡散モデルのノイズ除去回数だ。回数が少ないほど1回の生成が速く、品質が下がる可能性がある。2/4/8/16の4段階を出すことは、速度と品質の曲線を利用者に選ばせることと同じだ。
6タスク平均の対照
| モデル | 6タスク平均 | 備考 |
|---|---|---|
| Sigma-8B base | 71.16 | 今回の主対象 |
| NLD-8B | 70.22 | 同門の対照 |
| Qwen3-8B | 68.91 | 自己回帰の対照 |
| Dream-7B | 58.74 | 離散拡散の対照 |
| LLaDA-8B | 41.78 | 離散拡散の対照 |
この表の価値は同じ6タスクで5モデルを走らせた点にある。71.16と68.91の差には意味がある。ただしこれはbaseのスコアで指示微調整を含まず、instructのスコアとは混用できない。
8B instructの主要ベンチマーク
| ベンチマーク | Sigma-8B instruct |
|---|---|
| GSM8K | 91.96 |
| AIME25 | 17.00 |
この2つがモデルの性格を最もよく示す。小学算数は飽和に近く、競技数学は明確に苦しい。理由は難しくない。拡散型の生成はブロック内で型のある計算を反復修正するのが得意だが、長い連鎖の飛躍を要する問題では4Kコンテキストとブロック単位の生成が制约になる。
もう1つの参照点は蒸留版カードの数値だ。distill-8B-nfe8は6タスクで70.34、GSM8Kで88.44、HumanEvalで65.18、MBPPで62.60を記録し、10個の乱数シードによる結果と注記されている。baseの71.16と比べると、ステップ数を削る代償は平均で1点未満だ。ただしAIMEのような難問が同じ安定性を保つかは公開されていない。
速度
| 指標 | 値 | 条件 |
|---|---|---|
| 単一GPUのスループット | 毎秒約120〜140トークン | H100、bf16 |
| 自己投機の平均加速 | 3.46倍 | 8B、GB200+SGLang |
| 自己投機の最大加速 | 4.20倍 | 同上 |
8Bで毎秒120〜140トークンは中位から上位だが、H100、bf16、投機デコードなしの条件だ。加速比は自己回帰の基準線に対する値で、ハードウェアが異なる(GB200)。したがって2つの数値を掛けて合成値を推定することはできない。
変体が14になる理由
内訳を分解すると分かりやすい。base 2、instruct 2、自己投機2で計6。残る8はすべて少ステップ蒸留で、NFE 2/4/8/16を3Bと8Bに割り当てたものだ。
この配分はチームの優先順位を示す。推論速度が最も目立つ位置にある。蒸留変体が8つあることは、同じ重みの上で速度の動作点を選べることを意味し、再学習や再蒸留を不要にする。
自己投機が各サイズ1つなのは別のトレードオフだ。投機デコードには草稿モデルが必要で、版を増やすと展開の組み合わせが爆発する。公式推奨の1構成を示す方が、利用者が自分で調整する多数の組み合わせより実用的だ。
表を読む際の4つの注意
第一に、baseとinstructは比較できない。71.16はbaseの6タスク平均、70.34はnfe8蒸留版のスコア、91.96はinstructのGSM8Kだ。3つの数値は3つの構成に対応する。
第二に、コンテキストは厳格な制約だ。baseが4096、8B instructが8192で、多くの長文タスクの通常要件を下回る。パラメータ調整では解決しない。
第三に、CPU対応も量子化変体もない。展開の要件はNVIDIA GPUとbf16(またはフレームワーク側の精度変換)に事実上固定される。公式のGGUFや4bitの経路はない。
第四に、依存するツールチェーンが新しい。モデルカードはPyTorch 2.4以上、Transformers 4.55以上、trust_remote_codeを要求し、利用可能なサービング環境としてvLLM、SGLang、Docker Model Runnerを挙げる。NVIDIAは自前のAPIを運用せず、重みのみを公開すると明言する。
「オープンウェイト」の意味
オープンウェイトは学習データとレシピの全面公開ではない。Sigmaは重み、アーキテクチャの記述、ライセンスを公開するが、学習データの完全な構成は開示していない。商用評価では「オープンソースかどうか」よりライセンス条項を読み通すことが重要になる。
境界
- チェックポイント数、段階、変体分類、ライセンス、学習量、コンテキスト、フレームワーク要件は、Hugging FaceコレクションとNVIDIAのモデルカードに基づく
- 6タスク平均、GSM8K、AIME25、HumanEval、MBPP、10シードの注記は、モデルカードと公開資料に基づく
- スループットと加速比はNVIDIAの自社測定で、ハードウェア条件が異なり、相互検証はない
- 6タスクの具体的な構成は公開資料に項目別の記載がなく、本稿は推測しない
- 本稿はデータの整理と基準の明記であり、導入手順や性能の約束を含まない
