一句话总结
同一套权重放出 14 个变体,好处是能按场景挑,坏处是分数必须逐个对齐口径——base 与 instruct 的 71.16 和 70.34 不是一回事。
指标总览
| 指标 | 数值 | 口径与来源 |
|---|---|---|
| 检查点总数 | 14 个 | Hugging Face 合集 |
| 参数档次 | 3B / 8B | 官方模型卡 |
| 变体类别 | base、instruct、少步蒸馏、自投机 | 合集分组 |
| 生成方式 | 连续扩散,16 维嵌入空间去噪 | 技术报告 |
| 块大小 | 64 token / 块 | 技术报告 |
| 训练起点 | 约 1 万亿 token 的自回归检查点热启动 | 技术报告 |
| 扩散训练量 | 约 0.3 万亿 token | 技术报告 |
| 许可 | NVIDIA Nemotron Open Model License | 模型卡 |
| CPU 支持 | 无 | 模型卡 |
| 量化变体 | 无 | 模型卡 |
14 个检查点怎么分
| 类别 | 数量 | 说明 |
|---|---|---|
| base | 2 | 3B、8B 各一,未经指令微调 |
| instruct | 2 | 3B、8B 各一,8B instruct 上下文 8192 |
| 少步蒸馏 | 8 | NFE(去噪步数)2 / 4 / 8 / 16 四档 × 两档参数 |
| 自投机 | 2 | 每个尺寸一个,用于加速解码 |
NFE 是扩散模型里的去噪步数。步数越少,单次生成越快,质量越可能下降。放出 2/4/8/16 四档,等于把「速度—质量」的曲线交给使用者自己选点。
六任务均分对照
| 模型 | 六任务均分 | 备注 |
|---|---|---|
| Sigma-8B base | 71.16 | 本次主推 |
| NLD-8B | 70.22 | 同门对照 |
| Qwen3-8B | 68.91 | 自回归对照 |
| Dream-7B | 58.74 | 离散扩散对照 |
| LLaDA-8B | 41.78 | 离散扩散对照 |
这张表的价值在于同套件比较:五个模型跑的是同一组六任务,所以 71.16 与 68.91 的差距有参考意义。但要注意这是 base 分数,不含指令微调,与 instruct 变体的成绩不能混用。
8B instruct 的关键基准
| 基准 | Sigma-8B instruct |
|---|---|
| GSM8K | 91.96 |
| AIME25 | 17.00 |
这一组数字最能说明模型性格:小学数学接近饱和,竞赛数学明显吃力。原因不难理解——扩散式生成擅长在块内反复修正模式化计算,但对需要长链条跳跃推理的题目,4K 上下文与块级生成都会成为限制。
另一个可参考的点是少步蒸馏版卡上的数据:distill-8B-nfe8 在六任务上得 70.34,GSM8K 88.44,HumanEval 65.18,MBPP 62.60,并注明为 10 个随机种子的结果。相比 base 的 71.16,少步蒸馏掉了不到 1 分,说明压缩步数的代价在均分上很小——但 AIME 这类难题是否同样稳定,公开材料没给。
速度
| 指标 | 数值 | 条件 |
|---|---|---|
| 单卡吞吐 | 约 120–140 token/s | H100,bf16 |
| 自投机平均加速 | 3.46× | 8B,GB200 + SGLang |
| 自投机峰值加速 | 4.20× | 同上 |
单卡 120–140 token/s 对 8B 模型来说属于中等偏上,但这是在 H100 上、bf16、不加投机解码的数字。自投机版本的加速比是相对自回归基线的,条件换了硬件(GB200),所以两个数字不能直接相乘推算。
读这张表要注意的四件事
第一,base 与 instruct 不可混比。71.16 是 base 的六任务均分,70.34 是 nfe8 蒸馏版的分数,91.96 是 instruct 的 GSM8K。三个数字来自三个不同配置。
第二,上下文是硬约束。基础 4096、8B instruct 8192,低于多数长文档任务的常规需求。这不是调参能解决的问题。
第三,没有 CPU 支持、没有量化变体。这意味着部署门槛被锁定在 NVIDIA GPU 与 bf16(或框架自带的精度转换)上,想要 GGUF 或 4bit 的路径目前没有官方版本。
第四,依赖较新的工具链。模型卡要求 PyTorch 2.4+、Transformers 4.55+,并需要 trust_remote_code;可用的服务框架包括 vLLM、SGLang 与 Docker Model Runner。NVIDIA 明确表示不自建 API,只放权重。
变体数量为什么是 14
把构成拆开看更清楚:base 2 个、instruct 2 个、自投机 2 个,加起来 6 个;剩下 8 个全部是少步蒸馏,对应 NFE 2/4/8/16 四档 × 3B/8B 两档。
这个分配说明团队的优先级:推理速度被放在了最显眼的位置。8 个蒸馏变体意味着他们希望使用者能在同一份权重上,按部署预算挑一个速度点,而不是重新训练或再做一次蒸馏。
自投机只给每个尺寸一个,则是另一种取舍:投机解码需要额外的草稿模型,放太多版本会让部署组合爆炸。给一个「官方推荐配置」,比给一堆需要自己调的组合更实用。
与「开放权重」这个标签的关系
开放权重不等于开源全部训练数据与配方。Sigma 公开了权重、架构描述与许可,训练数据的完整构成未全部披露。做商用评估时,许可条款(NVIDIA Nemotron Open Model License)比「是否开源」更值得逐条读。
边界
- 检查点数量、参数档次、变体分类、许可、训练量、上下文、框架依赖来自 Hugging Face 合集与 NVIDIA 模型卡;
- 六任务均分、GSM8K、AIME25、HumanEval、MBPP 及 10 种子说明来自模型卡与发布材料;
- 吞吐与加速比来自 NVIDIA 自测,硬件条件不同,未做交叉验证;
- 六任务的具体任务构成未在公开材料中逐项列出,本文不推测;
- 本文只做数据整理与口径标注,不含部署步骤与性能承诺。
