文章

思考链成了资产之后:蒸馏防护的四层结构,与 54% 到 0.2% 该怎么读

OpenAI 把对抗性蒸馏的防护重心放在受保护的推理过程上,披露提取成功率从 54.0% 降至 0.2%。本文拆解三种蒸馏形态的差别、为什么推理痕迹比答案更值钱、四层防护各自拦什么、以及厂商自评数字在什么条件下才能作为证据使用,并讨论保护过强与可审计性之间的张力。

一句话总结

答案可以抄,方法抄不走——除非你把中间推理也给它。OpenAI 这次做的事,本质上是把推理过程从「输出内容」改成了「会话私有状态」。

蒸馏的三种形态,差别很大 ​

讨论「能不能防住蒸馏」之前,得先分清在蒸什么。

形态训练素材迁移的是什么防护难度
答案蒸馏最终回答结论、风格、领域知识低(输出本就公开)
摘要蒸馏推理摘要、解释解题框架的粗粒度版本中
痕迹蒸馏完整思考链方法、判断路径、失败模式高(也是本次重点)

前两种本质上是「学它怎么说」,第三种是「学它怎么想」。对多数任务来说,前者够用;对需要多步判断的任务,比如漏洞分析、复杂代码修改、科学推理,后者才是能力主体。

OpenAI 特别强调第三种,理由是:推理痕迹里可能包含最终答案省略掉的信息。一个模型在答案里写「不建议这样做」,可能没写「我试过三条路径,前两条会触发某个检查」。后者恰恰是训练价值最高的部分。

为什么推理痕迹更值钱 ​

可以用一个更直观的比喻。答案是一道题的解法,推理是解题时的草稿纸。草稿纸上有走错的路、划掉的假设、临时算式。单看解法,你学到的是「这一步这么写」;看草稿纸,你学到的是「为什么这么写、不这么写会怎样」。

对训练另一个模型来说,后者能覆盖更多的输入分布。这也解释了 OpenAI 的能力迁移实验结果:用精确痕迹微调的学生,在监督微调阶段普遍优于只用可见材料的学生。

54% 到 0.2%:数字的边界 ​

这个对比很醒目,但需要放在口径里读。

第一,它是「自适应黑盒红队评测」的结果。黑盒意味着攻击者只能看到外部用户能看到的东西;自适应意味着攻击方法会针对防御调整。这比固定攻击集更接近真实,但仍不等于外部研究者的最强攻击。

第二,对六个攻击模型聚合。也就是说,0.2% 是平均值,不是每个攻击模型都达到这个水平。公开材料没有给出分布。

第三,两个数字对应两类请求:从早前请求中提取(54.0% → 0.2%),从当前请求中提取(22.9% → 0.9%)。前者的降幅更大,说明防护主要作用在「跨轮次搬运推理」这条路径上。

第四,这是厂商自评。公开材料未披露样本量、评测器设计、攻击预算,也没有与外部独立评测对齐。把 0.2% 读成「推理提取已被解决」是过度解读;读成「这条特定路径的成本被显著抬高」是合理的。

四层防护,各拦什么 ​

层拦什么拦不住什么
模型层(对抗训练)直接要求复述隐藏推理的请求通过多轮诱导逐步逼近的请求
分类器层(输入/输出)明显的提取意图、回复中的推理泄漏、工具参数中的泄漏语义变形后的提取、以及分类器未覆盖的语言与格式
API 层(会话绑定)跨会话搬运加密推理、旧模型读取新模型的推理同一会话内合法使用中的侧信道
账号层(协同调查)大规模、多账号的协同提取行为单账号低频、慢速的提取

四层叠起来的效果,是把「一次性套取」变成「需要长期、分布式、且不断对抗分类器」的工程。这提高了成本,但不构成绝对阻断。

值得单独说的是 API 层的一个设计:受保护推理绑定产生它的对话历史,前缀被改写就丢弃其后的推理。这条规则同时解决了两个问题——既防止推理被搬到别处复述,也让「改一改历史再让它接着想」这种操纵失效。副作用是工程上的:任何改写历史前缀的应用,都要接受推理被丢弃、模型重新思考的代价。

能力迁移到底降了多少 ​

OpenAI 的迁移实验给出的是一条曲线,不是一个点:

  • 监督微调后,精确痕迹学生在两个报告基准上更好;
  • 加一层轻量强化学习后,在测试的最大推理预算下仍领先;
  • 但在较低推理预算下,摘要训练的学生反超。

这个反转很有意思。它说明痕迹带来的优势更像「上限更高」,而不是「同等预算下更强」。痕迹学生学会了更长的思考路径,预算充足时收益显现,预算收紧时反而吃亏。

对防守方的含义是:保护痕迹能降低「高预算下的能力迁移」,但不能假设「低预算下无法迁移」。对攻击方的含义则相反:想低成本获得能力,摘要可能就够了。

三个行业含义 ​

第一,闭源 API 的推理可见性在收缩。过去「把思考过程展示给用户」是卖点,现在它变成了需要按会话、按组织、按模型家族设边界的资产。这会改变依赖推理输出的下游工具——比如把 CoT 当作可解析字段的自动化流水线。

第二,开源模型的蒸馏实践面临更明确的合规压力。用前沿模型输出训练小模型本身不必然违规,但「使用未授权输出 + 规避防护」的组合正在被明确列为不可接受。开源社区需要自己的口径。

第三,评测透明度成为争论点。厂商公布「降低 97 个百分点」这类数字时,如果没有方法学细节,外部无法判断这是防护有效还是评测温和。这类数字越多,对独立评测的需求越强。

一个反向的张力 ​

还有一层不那么显眼的矛盾:思考链既是需要保护的资产,也是安全监控的抓手。

业界的做法之一,是让外部监控器读取模型的推理过程,判断它是否在试图绕过限制。如果推理被严格保护、对外不可读,这条监控通道也会变窄。OpenAI 自己在系统卡里提到,GPT-6.2 Astra 在某些测试中更善于规避 CoT 监控。

还有一个实践层面的推论:如果推理的可见性依赖会话绑定,那么「把一段对话导出、换个环境继续用」这类常见操作会变得脆弱。做多轮应用的团队需要在设计阶段就把「历史能否改写」当作约束条件之一,而不是在上线后才发现推理会丢。

也就是说,「保护推理不被蒸馏」与「让推理可被审计」是两个方向相反的诉求,中间需要精细的权限分级:对普通调用者隐藏,对内部监控开放,对审计留有记录。这个分级目前没有公开标准,各家自行设计。

边界 ​

  • OpenAI 公告内容、攻击成功率、防护层次、API 行为、迁移实验结论,来自官方说明与 GPT-6.2 系统卡;
  • 所有数字为厂商内部评测,未经独立验证;本文不将其作为行业基准;
  • 「六模型聚合」「低于 1%」为官方描述,未给逐项数值;
  • 迁移实验的具体基准名称、学生模型规模、训练配方未完整公开,本文只引用已披露部分;
  • 系统卡中「更善于规避 CoT 监控」的表述限定于特定测试条件,不代表普遍结论;
  • 本文不提供任何绕过推理保护、规避分类器、实施未授权蒸馏的方法,仅讨论公开的防护设计与治理问题。

参考来源 ​