データ

Nemotron-Labs-Sigmaのデータ基準:14チェックポイント、6タスク平均、実測スループット

NVIDIAのNemotron-Labs-Sigmaは14のオープンチェックポイントを一度に公開した。3Bと8Bの2段階、base・instruct・少ステップ蒸留・自己投機の4種の変体を覆う。本稿は公式が公表した6タスク平均、単一GPUのスループット、自己投機の加速比、コンテキストの差を整理し、相互に比較できないスイートの数値が混ざらないよう基準を明記する。

要点

同じ重みから14の変体を出す利点は場面に応じて選べることだが、欠点はすべてのスコアを構成に合わせて読まなければならないことだ。baseの71.16と蒸留版の70.34は同じものではない。

指標の概要 ​

指標値基準と出典
チェックポイント数14Hugging Faceコレクション
パラメータ段階3B/8B公式モデルカード
変体の種類base、instruct、少ステップ蒸留、自己投機コレクションの分類
生成方式連続拡散、16次元埋め込み空間でノイズ除去技術報告
ブロックサイズ64トークン/ブロック技術報告
学習の起点約1兆トークンの自己回帰チェックポイントからウォームスタート技術報告
拡散学習量約0.3兆トークン技術報告
ライセンスNVIDIA Nemotron Open Model Licenseモデルカード
CPU対応なしモデルカード
量子化変体なしモデルカード

14の内訳 ​

種類数内容
base23Bと8Bが各1、指示微調整なし
instruct23Bと8Bが各1、8B instructはコンテキスト8192
少ステップ蒸留8NFE(ノイズ除去ステップ)2/4/8/16の4段階×2サイズ
自己投機2各サイズに1つ、デコード加速用

NFEは拡散モデルのノイズ除去回数だ。回数が少ないほど1回の生成が速く、品質が下がる可能性がある。2/4/8/16の4段階を出すことは、速度と品質の曲線を利用者に選ばせることと同じだ。

6タスク平均の対照 ​

モデル6タスク平均備考
Sigma-8B base71.16今回の主対象
NLD-8B70.22同門の対照
Qwen3-8B68.91自己回帰の対照
Dream-7B58.74離散拡散の対照
LLaDA-8B41.78離散拡散の対照

この表の価値は同じ6タスクで5モデルを走らせた点にある。71.16と68.91の差には意味がある。ただしこれはbaseのスコアで指示微調整を含まず、instructのスコアとは混用できない。

8B instructの主要ベンチマーク ​

ベンチマークSigma-8B instruct
GSM8K91.96
AIME2517.00

この2つがモデルの性格を最もよく示す。小学算数は飽和に近く、競技数学は明確に苦しい。理由は難しくない。拡散型の生成はブロック内で型のある計算を反復修正するのが得意だが、長い連鎖の飛躍を要する問題では4Kコンテキストとブロック単位の生成が制约になる。

もう1つの参照点は蒸留版カードの数値だ。distill-8B-nfe8は6タスクで70.34、GSM8Kで88.44、HumanEvalで65.18、MBPPで62.60を記録し、10個の乱数シードによる結果と注記されている。baseの71.16と比べると、ステップ数を削る代償は平均で1点未満だ。ただしAIMEのような難問が同じ安定性を保つかは公開されていない。

速度 ​

指標値条件
単一GPUのスループット毎秒約120〜140トークンH100、bf16
自己投機の平均加速3.46倍8B、GB200+SGLang
自己投機の最大加速4.20倍同上

8Bで毎秒120〜140トークンは中位から上位だが、H100、bf16、投機デコードなしの条件だ。加速比は自己回帰の基準線に対する値で、ハードウェアが異なる(GB200)。したがって2つの数値を掛けて合成値を推定することはできない。

変体が14になる理由 ​

内訳を分解すると分かりやすい。base 2、instruct 2、自己投機2で計6。残る8はすべて少ステップ蒸留で、NFE 2/4/8/16を3Bと8Bに割り当てたものだ。

この配分はチームの優先順位を示す。推論速度が最も目立つ位置にある。蒸留変体が8つあることは、同じ重みの上で速度の動作点を選べることを意味し、再学習や再蒸留を不要にする。

自己投機が各サイズ1つなのは別のトレードオフだ。投機デコードには草稿モデルが必要で、版を増やすと展開の組み合わせが爆発する。公式推奨の1構成を示す方が、利用者が自分で調整する多数の組み合わせより実用的だ。

表を読む際の4つの注意 ​

第一に、baseとinstructは比較できない。71.16はbaseの6タスク平均、70.34はnfe8蒸留版のスコア、91.96はinstructのGSM8Kだ。3つの数値は3つの構成に対応する。

第二に、コンテキストは厳格な制約だ。baseが4096、8B instructが8192で、多くの長文タスクの通常要件を下回る。パラメータ調整では解決しない。

第三に、CPU対応も量子化変体もない。展開の要件はNVIDIA GPUとbf16(またはフレームワーク側の精度変換)に事実上固定される。公式のGGUFや4bitの経路はない。

第四に、依存するツールチェーンが新しい。モデルカードはPyTorch 2.4以上、Transformers 4.55以上、trust_remote_codeを要求し、利用可能なサービング環境としてvLLM、SGLang、Docker Model Runnerを挙げる。NVIDIAは自前のAPIを運用せず、重みのみを公開すると明言する。

「オープンウェイト」の意味 ​

オープンウェイトは学習データとレシピの全面公開ではない。Sigmaは重み、アーキテクチャの記述、ライセンスを公開するが、学習データの完全な構成は開示していない。商用評価では「オープンソースかどうか」よりライセンス条項を読み通すことが重要になる。

境界 ​

  • チェックポイント数、段階、変体分類、ライセンス、学習量、コンテキスト、フレームワーク要件は、Hugging FaceコレクションとNVIDIAのモデルカードに基づく
  • 6タスク平均、GSM8K、AIME25、HumanEval、MBPP、10シードの注記は、モデルカードと公開資料に基づく
  • スループットと加速比はNVIDIAの自社測定で、ハードウェア条件が異なり、相互検証はない
  • 6タスクの具体的な構成は公開資料に項目別の記載がなく、本稿は推測しない
  • 本稿はデータの整理と基準の明記であり、導入手順や性能の約束を含まない

参考来源 ​