数据

Nemotron-Labs-Sigma 数据口径:14 个检查点、六任务均分与吞吐实测

NVIDIA 的 Nemotron-Labs-Sigma 一次放出 14 个开放检查点,覆盖 3B 与 8B 两档、base/instruct/少步蒸馏/自投机四类变体。本文整理官方公布的六任务均分、单卡吞吐、自投机加速比与上下文差异,并逐项标注口径,避免跨套件误比。

一句话总结

同一套权重放出 14 个变体,好处是能按场景挑,坏处是分数必须逐个对齐口径——base 与 instruct 的 71.16 和 70.34 不是一回事。

指标总览 ​

指标数值口径与来源
检查点总数14 个Hugging Face 合集
参数档次3B / 8B官方模型卡
变体类别base、instruct、少步蒸馏、自投机合集分组
生成方式连续扩散,16 维嵌入空间去噪技术报告
块大小64 token / 块技术报告
训练起点约 1 万亿 token 的自回归检查点热启动技术报告
扩散训练量约 0.3 万亿 token技术报告
许可NVIDIA Nemotron Open Model License模型卡
CPU 支持无模型卡
量化变体无模型卡

14 个检查点怎么分 ​

类别数量说明
base23B、8B 各一,未经指令微调
instruct23B、8B 各一,8B instruct 上下文 8192
少步蒸馏8NFE(去噪步数)2 / 4 / 8 / 16 四档 × 两档参数
自投机2每个尺寸一个,用于加速解码

NFE 是扩散模型里的去噪步数。步数越少,单次生成越快,质量越可能下降。放出 2/4/8/16 四档,等于把「速度—质量」的曲线交给使用者自己选点。

六任务均分对照 ​

模型六任务均分备注
Sigma-8B base71.16本次主推
NLD-8B70.22同门对照
Qwen3-8B68.91自回归对照
Dream-7B58.74离散扩散对照
LLaDA-8B41.78离散扩散对照

这张表的价值在于同套件比较:五个模型跑的是同一组六任务,所以 71.16 与 68.91 的差距有参考意义。但要注意这是 base 分数,不含指令微调,与 instruct 变体的成绩不能混用。

8B instruct 的关键基准 ​

基准Sigma-8B instruct
GSM8K91.96
AIME2517.00

这一组数字最能说明模型性格:小学数学接近饱和,竞赛数学明显吃力。原因不难理解——扩散式生成擅长在块内反复修正模式化计算,但对需要长链条跳跃推理的题目,4K 上下文与块级生成都会成为限制。

另一个可参考的点是少步蒸馏版卡上的数据:distill-8B-nfe8 在六任务上得 70.34,GSM8K 88.44,HumanEval 65.18,MBPP 62.60,并注明为 10 个随机种子的结果。相比 base 的 71.16,少步蒸馏掉了不到 1 分,说明压缩步数的代价在均分上很小——但 AIME 这类难题是否同样稳定,公开材料没给。

速度 ​

指标数值条件
单卡吞吐约 120–140 token/sH100,bf16
自投机平均加速3.46×8B,GB200 + SGLang
自投机峰值加速4.20×同上

单卡 120–140 token/s 对 8B 模型来说属于中等偏上,但这是在 H100 上、bf16、不加投机解码的数字。自投机版本的加速比是相对自回归基线的,条件换了硬件(GB200),所以两个数字不能直接相乘推算。

读这张表要注意的四件事 ​

第一,base 与 instruct 不可混比。71.16 是 base 的六任务均分,70.34 是 nfe8 蒸馏版的分数,91.96 是 instruct 的 GSM8K。三个数字来自三个不同配置。

第二,上下文是硬约束。基础 4096、8B instruct 8192,低于多数长文档任务的常规需求。这不是调参能解决的问题。

第三,没有 CPU 支持、没有量化变体。这意味着部署门槛被锁定在 NVIDIA GPU 与 bf16(或框架自带的精度转换)上,想要 GGUF 或 4bit 的路径目前没有官方版本。

第四,依赖较新的工具链。模型卡要求 PyTorch 2.4+、Transformers 4.55+,并需要 trust_remote_code;可用的服务框架包括 vLLM、SGLang 与 Docker Model Runner。NVIDIA 明确表示不自建 API,只放权重。

变体数量为什么是 14 ​

把构成拆开看更清楚:base 2 个、instruct 2 个、自投机 2 个,加起来 6 个;剩下 8 个全部是少步蒸馏,对应 NFE 2/4/8/16 四档 × 3B/8B 两档。

这个分配说明团队的优先级:推理速度被放在了最显眼的位置。8 个蒸馏变体意味着他们希望使用者能在同一份权重上,按部署预算挑一个速度点,而不是重新训练或再做一次蒸馏。

自投机只给每个尺寸一个,则是另一种取舍:投机解码需要额外的草稿模型,放太多版本会让部署组合爆炸。给一个「官方推荐配置」,比给一堆需要自己调的组合更实用。

与「开放权重」这个标签的关系 ​

开放权重不等于开源全部训练数据与配方。Sigma 公开了权重、架构描述与许可,训练数据的完整构成未全部披露。做商用评估时,许可条款(NVIDIA Nemotron Open Model License)比「是否开源」更值得逐条读。

边界 ​

  • 检查点数量、参数档次、变体分类、许可、训练量、上下文、框架依赖来自 Hugging Face 合集与 NVIDIA 模型卡;
  • 六任务均分、GSM8K、AIME25、HumanEval、MBPP 及 10 种子说明来自模型卡与发布材料;
  • 吞吐与加速比来自 NVIDIA 自测,硬件条件不同,未做交叉验证;
  • 六任务的具体任务构成未在公开材料中逐项列出,本文不推测;
  • 本文只做数据整理与口径标注,不含部署步骤与性能承诺。

参考来源 ​