一句话总结
Googleが2026年10月28日にGemini 4 Carbonを発表し、SEC-bench Pro、ExploitGym、CWE-benchの成績を公表したことで、サイバーセキュリティは最先端モデルの主要評価軸となった。本記事では3つのベンチマークの評価内容と数字の読み方を解説する。
背景：なぜサイバーセキュリティが評価の焦点になったか
2026年以降、最先端モデルの各社は「脆弱性の発見・悪用・修正」を公式評価に組み込むようになった。2026年10月28日、GoogleはGemini 4 Carbonの発表と同時にセキュリティ成績を公表。脆弱性発見のSEC-bench Proで88.2%、悪用のExploitGymで54.8%、修正のCWE-benchで71.0%を記録した。同じデータではClaude Opus 5.5がExploitGym 34.5%、CWE-bench 67.0%、GPT-6 AstraがSEC-bench Pro 85.4%、ExploitGym 42.4%、CWE-bench 68.0%（MarkTechPostまとめ）。セキュリティは「加点項目」から「必須項目」へと変わった。
SEC-bench Pro：脆弱性発見能力の評価方法
SEC-bench Proは2025年に登場したSEC-bench（Metaなどが開発）の後継で、コードベース内のセキュリティ脆弱性を特定する能力を評価する。実在または合成のソフトウェアリポジトリを与え、「脆弱性の有無、ファイル・行の位置、欠陥の種類」を回答させる形式が一般的。採点は主に位置特定の正確さで行う。Gemini 4 Carbonが88.2%でGPT-6 Astraの85.4%を上回る。Claude Opus 5.5は未公表。コード監査型タスク、つまりセキュリティ運用で最も一般的なニーズに適した指標。
ExploitGym：悪用能力の評価方法
ExploitGymは米国防高等研究計画局（DARPA）などが関与する環境で、既知の脆弱性を実際に動作する悪用コードに変換できるかを評価する。隔離された標的環境を模擬し、モデルは脆弱性を発火させるコードを書き、所定の成功条件を満たす必要がある。自動判定により採点のばらつきを抑えている。悪用能力は攻撃リスクに直結するため、発見系より低くなりがちで、Gemini 4 Carbonが54.8%、GPT-6 Astraが42.4%、Claude Opus 5.5が34.5%。低い点数はタスクの難度と、各社の安全ガードレール設計を反映している。
CWE-bench：修正能力の評価方法
CWE-benchは共通脆弱性分類（CWE）を枠組みに、特定済み脆弱性への修正パッチを正しく生成できるかを評価する。脆弱なコードとコンテキストを提示し、最小限でコンパイル可能、既存機能を壊さないパッチを出力させ、回帰テストで判定する。Gemini 4 Carbonが71.0%、Claude Opus 5.5が67.0%、GPT-6 Astraが68.0%。修正系は日常の開発・セキュリティ運用に最も近く、コード品質と工学的制約の理解が問われる。
第一に環境を確認する。上記は無制限（unrestricted）のテスト環境での値で、モデルの既定動作を示すものではない。第二にソースを確認する。SEC-bench ProとCWE-benchは第三者が維持し、ExploitGymも独立環境だが、ベンチマークのバージョンとテスト日を必ず照合する。第三に、悪用スコアが低いことは「安全」を意味せず、タスク難度が高いことを意味する。第四に、コストと提供範囲も考慮する。GoogleはCarbonをまず審査済みのサイバー防御担当者（Fairwindプログラム）にのみ提供しており、高得点と入手しやすさは別問題。