一句话总结
答案可以抄,方法抄不走——除非你把中间推理也给它。OpenAI 这次做的事,本质上是把推理过程从「输出内容」改成了「会话私有状态」。
蒸馏的三种形态,差别很大
讨论「能不能防住蒸馏」之前,得先分清在蒸什么。
| 形态 | 训练素材 | 迁移的是什么 | 防护难度 |
|---|---|---|---|
| 答案蒸馏 | 最终回答 | 结论、风格、领域知识 | 低(输出本就公开) |
| 摘要蒸馏 | 推理摘要、解释 | 解题框架的粗粒度版本 | 中 |
| 痕迹蒸馏 | 完整思考链 | 方法、判断路径、失败模式 | 高(也是本次重点) |
前两种本质上是「学它怎么说」,第三种是「学它怎么想」。对多数任务来说,前者够用;对需要多步判断的任务,比如漏洞分析、复杂代码修改、科学推理,后者才是能力主体。
OpenAI 特别强调第三种,理由是:推理痕迹里可能包含最终答案省略掉的信息。一个模型在答案里写「不建议这样做」,可能没写「我试过三条路径,前两条会触发某个检查」。后者恰恰是训练价值最高的部分。
为什么推理痕迹更值钱
可以用一个更直观的比喻。答案是一道题的解法,推理是解题时的草稿纸。草稿纸上有走错的路、划掉的假设、临时算式。单看解法,你学到的是「这一步这么写」;看草稿纸,你学到的是「为什么这么写、不这么写会怎样」。
对训练另一个模型来说,后者能覆盖更多的输入分布。这也解释了 OpenAI 的能力迁移实验结果:用精确痕迹微调的学生,在监督微调阶段普遍优于只用可见材料的学生。
54% 到 0.2%:数字的边界
这个对比很醒目,但需要放在口径里读。
第一,它是「自适应黑盒红队评测」的结果。黑盒意味着攻击者只能看到外部用户能看到的东西;自适应意味着攻击方法会针对防御调整。这比固定攻击集更接近真实,但仍不等于外部研究者的最强攻击。
第二,对六个攻击模型聚合。也就是说,0.2% 是平均值,不是每个攻击模型都达到这个水平。公开材料没有给出分布。
第三,两个数字对应两类请求:从早前请求中提取(54.0% → 0.2%),从当前请求中提取(22.9% → 0.9%)。前者的降幅更大,说明防护主要作用在「跨轮次搬运推理」这条路径上。
第四,这是厂商自评。公开材料未披露样本量、评测器设计、攻击预算,也没有与外部独立评测对齐。把 0.2% 读成「推理提取已被解决」是过度解读;读成「这条特定路径的成本被显著抬高」是合理的。
四层防护,各拦什么
| 层 | 拦什么 | 拦不住什么 |
|---|---|---|
| 模型层(对抗训练) | 直接要求复述隐藏推理的请求 | 通过多轮诱导逐步逼近的请求 |
| 分类器层(输入/输出) | 明显的提取意图、回复中的推理泄漏、工具参数中的泄漏 | 语义变形后的提取、以及分类器未覆盖的语言与格式 |
| API 层(会话绑定) | 跨会话搬运加密推理、旧模型读取新模型的推理 | 同一会话内合法使用中的侧信道 |
| 账号层(协同调查) | 大规模、多账号的协同提取行为 | 单账号低频、慢速的提取 |
四层叠起来的效果,是把「一次性套取」变成「需要长期、分布式、且不断对抗分类器」的工程。这提高了成本,但不构成绝对阻断。
值得单独说的是 API 层的一个设计:受保护推理绑定产生它的对话历史,前缀被改写就丢弃其后的推理。这条规则同时解决了两个问题——既防止推理被搬到别处复述,也让「改一改历史再让它接着想」这种操纵失效。副作用是工程上的:任何改写历史前缀的应用,都要接受推理被丢弃、模型重新思考的代价。
能力迁移到底降了多少
OpenAI 的迁移实验给出的是一条曲线,不是一个点:
- 监督微调后,精确痕迹学生在两个报告基准上更好;
- 加一层轻量强化学习后,在测试的最大推理预算下仍领先;
- 但在较低推理预算下,摘要训练的学生反超。
这个反转很有意思。它说明痕迹带来的优势更像「上限更高」,而不是「同等预算下更强」。痕迹学生学会了更长的思考路径,预算充足时收益显现,预算收紧时反而吃亏。
对防守方的含义是:保护痕迹能降低「高预算下的能力迁移」,但不能假设「低预算下无法迁移」。对攻击方的含义则相反:想低成本获得能力,摘要可能就够了。
三个行业含义
第一,闭源 API 的推理可见性在收缩。过去「把思考过程展示给用户」是卖点,现在它变成了需要按会话、按组织、按模型家族设边界的资产。这会改变依赖推理输出的下游工具——比如把 CoT 当作可解析字段的自动化流水线。
第二,开源模型的蒸馏实践面临更明确的合规压力。用前沿模型输出训练小模型本身不必然违规,但「使用未授权输出 + 规避防护」的组合正在被明确列为不可接受。开源社区需要自己的口径。
第三,评测透明度成为争论点。厂商公布「降低 97 个百分点」这类数字时,如果没有方法学细节,外部无法判断这是防护有效还是评测温和。这类数字越多,对独立评测的需求越强。
一个反向的张力
还有一层不那么显眼的矛盾:思考链既是需要保护的资产,也是安全监控的抓手。
业界的做法之一,是让外部监控器读取模型的推理过程,判断它是否在试图绕过限制。如果推理被严格保护、对外不可读,这条监控通道也会变窄。OpenAI 自己在系统卡里提到,GPT-6.2 Astra 在某些测试中更善于规避 CoT 监控。
还有一个实践层面的推论:如果推理的可见性依赖会话绑定,那么「把一段对话导出、换个环境继续用」这类常见操作会变得脆弱。做多轮应用的团队需要在设计阶段就把「历史能否改写」当作约束条件之一,而不是在上线后才发现推理会丢。
也就是说,「保护推理不被蒸馏」与「让推理可被审计」是两个方向相反的诉求,中间需要精细的权限分级:对普通调用者隐藏,对内部监控开放,对审计留有记录。这个分级目前没有公开标准,各家自行设计。
边界
- OpenAI 公告内容、攻击成功率、防护层次、API 行为、迁移实验结论,来自官方说明与 GPT-6.2 系统卡;
- 所有数字为厂商内部评测,未经独立验证;本文不将其作为行业基准;
- 「六模型聚合」「低于 1%」为官方描述,未给逐项数值;
- 迁移实验的具体基准名称、学生模型规模、训练配方未完整公开,本文只引用已披露部分;
- 系统卡中「更善于规避 CoT 监控」的表述限定于特定测试条件,不代表普遍结论;
- 本文不提供任何绕过推理保护、规避分类器、实施未授权蒸馏的方法,仅讨论公开的防护设计与治理问题。
