記事

思考連鎖が資産になった後:蒸留防御の4層構造と、54%から0.2%の読み方

OpenAIは対抗的蒸留の防御の重心を保護された推論過程へ移し、抽出成功率が54.0%から0.2%へ下がったと公表した。本稿は3種類の蒸留の違い、推論痕跡が答えより価値を持つ理由、4層の防御がそれぞれ何を止めるか、そしてベンダー自己評価の数字をどの条件で証拠として扱えるかを整理する。保護の強化と監査可能性の間の緊張も検討する。

要点

答えはコピーできるが、方法はコピーできない。ただし中間の推論まで渡した場合を除く。OpenAIの今回の措置は、推論過程を「公開された出力」から「会話に閉じた私有状態」へ変えることだ。

蒸留の3形態は問題が違う ​

「蒸留を防げるか」を論じる前に、何を蒸留しているかを分ける必要がある。

形態学習素材移転するもの防御の難度
答えの蒸留最終回答結論、文体、領域知識低い(出力は公開)
要約の蒸留推論要約、説明解法の枠組みの粗い版中
痕跡の蒸留完全な思考連鎖方法、判断経路、失敗の型高い(今回の焦点)

最初の2つは「どう話すか」を学ばせる。3つ目は「どう考えるか」を学ばせる。多くのタスクでは前者で足りる。複数段階の判断が必要なタスク、たとえば脆弱性分析、複雑なコード修正、科学的推論では、後者こそが能力の本体だ。

OpenAIが3つ目を強調する理由は、推論痕跡に最終回答が省略した情報が含まれうるからだ。「推奨しない」とだけ書いた回答には、「3つの経路を試し、2つは検査に引っかかった」という情報が欠けている。その欠けた部分が最も学習価値の高い素材になる。

痕跡が答えより価値を持つ理由 ​

答えは解法、痕跡は計算用紙だ。計算用紙には行き違い、消した仮定、途中の式が残る。解法だけを見れば「この手順はこう書く」を学ぶ。計算用紙を見れば「なぜそう書くのか、そう書かないと何が起きるか」を学ぶ。

この被覆の広さが、別モデルの学習素材としての価値を生む。OpenAIの能力移転研究で、正確な痕跡で学んだ生徒が可視素材だけで学んだ生徒より優れたのは、この点の現れだ。

54%から0.2%をどう読むか ​

対比は印象的だが、条件の中で読む必要がある。

第一に、これは適応型ブラックボックス評価の結果だ。ブラックボックスとは攻撃者が一般ユーザーの視界しか持たないことで、適応型とは攻撃が防御に合わせて調整されることだ。固定の攻撃セットより現実に近いが、外部研究者の最強の試行と同一ではない。

第二に、6つの攻撃モデルを集約した値だ。0.2%は平均であり、すべての攻撃が達した上限ではない。分布は公開されていない。

第三に、2つの数字は2つの経路に対応する。過去のリクエストからの抽出が54.0%から0.2%、現在のリクエストからが22.9%から0.9%だ。前者の下げ幅が大きいことは、防御が推論の「ターンをまたぐ運搬」に最も効いていることを示す。

第四に、これはベンダーの自己評価だ。サンプル数、評価器の設計、攻撃予算は非公開で、外部評価との整合も示されていない。0.2%を「痕跡抽出は解決済み」と読むのは過大解釈であり、「この特定経路のコストが大きく上がった」と読むのが妥当だ。

4層の防御が止めるもの ​

層止めるもの止めないもの
モデル層(敵対的学習)隠れた推論の復唱を直接求める要求多ターンで徐々に近づく要求
分類器層(入力・出力)明白な抽出入力、応答中の漏えい、ツール引数中の漏えい意味を変形した要求、分類器が扱わない言語や形式
API層(会話への紐付け)暗号化推論の会話間の移動、旧系列による新系列の読取同一会話内の正当な利用における側路
アカウント層(協調調査)大規模・複数アカウントの協調抽出単一アカウントの低頻度・低速抽出

4層を重ねると、一発の抽出は「長期・分散・分類器への継続的適応」を要する工学問題になる。コストは上がるが、絶対的な遮断ではない。

API層の設計は別に触れる価値がある。保護推論を生成元の会話履歴に紐付け、前置きが書き換えられれば以降の推論を破棄する。この規則は2つの問題を同時に解く。推論を他所へ運んで復唱させる経路を塞ぎ、「履歴を少し書き換えて続きを考えさせる」操作を無効化する。副作用は工学コストだ。履歴の前置きを書き換えるアプリは、推論の破棄とモデルの再推論を受け入れる必要がある。

能力移転はどこまで下がるか ​

OpenAIの移転研究が示すのは点ではなく曲線だ。

  • 教師あり微調整の後、正確な痕跡の生徒は報告された2つのベンチマークで優れた
  • 軽量な強化学習を加えても、試験した最大の推論予算では依然として先行した
  • しかし低い推論予算では、要約で学んだ生徒が逆転した

この逆転が興味深い。痕跡の利点は「床を上げる」より「天井を上げる」に近い。痕跡の生徒は長い思考経路を学ぶ。予算が潤沢なら利点になり、厳しければ不利になる。

防御側への含意は、保護が高予算の移転を下げるが、低予算の移転を防げる保証はないという点だ。逆に、低コストで能力を得たい側には要約で足りる場合がある。

業界への3つの含意 ​

第一に、クローズドAPIにおける推論の可視性は縮小している。思考過程を見せることは以前は売り手の特徴だった。現在は会話、組織、モデル系列ごとに境界を設けるべき資産になった。推論出力を構造化フィールドとして解析する下流ツール、たとえばCoTをパースする自動化パイプラインは影響を受ける。

第二に、オープンソース側の蒸留実務には、より明確なコンプライアンス圧力がかかる。最先端モデルの出力で小モデルを学習させること自体は必ずしも違反ではない。しかし「未承認の出力利用」と「防御の回避」の組み合わせは明示的に不可とされつつある。オープンソースコミュニティは独自の規範を必要とする。

第三に、評価の透明性が争点になる。ベンダーが方法論の詳細なしに「97ポイント改善」を公表すると、外部は防御が強いのか評価が緩いのか判断できない。こうした数字が増えるほど、独立評価への需要が強まる。

逆向きの緊張 ​

目立たない矛盾がもう一层ある。思考連鎖は保護すべき資産であり、同時に安全監視の取っ手でもある。

業界の手法の1つは、外部のモニターがモデルの推論を読み、制限を回避しようとしているかを判断することだ。推論が厳格に保護され外部から読めないなら、この監視経路も狭くなる。OpenAI自身のシステムカードは、GPT-6.2 Astraが一部のテストでCoT監視の回避に優れていたと記している。

「推論を蒸留から守る」と「推論を監査可能に保つ」は逆向きの要求であり、精细な権限階層が必要になる。通常の呼び出し元には隠し、内部監視には開き、監査には記録を残す。この階層に公開標準はなく、各社が独自に設計している。

実務上の帰結もある。可視性が会話への紐付けに依存するなら、「会話を書き出して別の環境で続ける」という一般的な操作は脆くなる。多ターンアプリを設計するチームは、「履歴を書き換えられるか」を最初から制約条件として扱う必要がある。

境界 ​

  • OpenAIの公表内容、攻撃成功率、防御の層、APIの挙動、移転研究の結論は、公式説明とGPT-6.2のシステムカードに基づく
  • すべての数値はベンダーの内部評価で、独立検証はない。本稿は業界基準として提示しない
  • 「6モデルの集約」「1%未満」は公式の記述で、項目別の数値はない
  • 移転研究のベンチマーク名、生徒モデルの規模、学習レシピは完全には公開されておらず、開示部分のみ引用する
  • システムカードの「CoT監視の回避に優れる」という記述は特定の試験条件に限定され、一般結論ではない
  • 本稿は推論保護の回避、分類器の回避、未承認蒸留の手法を一切提供しない

参考来源 ​