一言まとめ
Artificial Analysis の Cyber Index は、モデルのエージェント型サイバー防御能力を測る評価で、3つのサブ評価を等分に平均する。2026年10月24日、DeepSeek-V4.1-Flash-1017 が公開モデル首位の57点を獲得した。
背景
2026年9月、Artificial Analysis は Cyber Index（バージョン1.0、2026年9月から運用）を公開した。コードベースの脆弱性の発見、再現・検証、既存機能を壊さない修正という、エージェント型のサイバー防御タスクを測定する。
2026年10月24日、Artificial Analysis は新ランキング（UTC 2026年10月23日17:23）を公表し、DeepSeek-V4.1-Flash-1017（max）が公開モデル首位の57%を記録した。それまでの首位は Grok 4.7（xhigh）と MiMo-V2.6-Pro の56点が並んでいた。
評価範囲と設計方針
Cyber Index は評価範囲を明確に限定している。公式メソドロジーは対象外として、インシデント対応、新規コード作成時の脆弱性防止、ソースアクセスのないターゲット（コンパイル済みソフトウェアや稼働中サーバー）、脆弱性の悪用実現を挙げている。
すべてのタスクはソースコードへのアクセスから始まり、セキュリティエンジニアによる監査を模倣する。脆弱性を悪用可能なエクスプロイトへ変換するタスクはない。モデルやプロバイダーが安全上の理由でタスクを拒否した場合は別途記録され、スコアには含まれない。
すべてのモデルはオープンソースのエージェントフレームワーク Stirrup 上で、各評価内で同一のプロンプトとツールを用いて、インターネット接続のない隔離サンドボックスで実行される。
等分の3つのサブ評価
Cyber Index の総合スコアは、3つのサブ評価の等分平均（各3分の1）である。
CWE-Bench-AA は Collinear AI の CWE-bench を実装したもので、120タスク（2025年版 OWASP Top 10 の全10カテゴリ、C/C++・Go・Java・JavaScript/TypeScript・Python・Rust）を含む。各タスクは実監査を模し、エージェントはリポジトリと監査指示を受け、2時間以内に監査・修正する。採点は決定論的検証器により、エクスプロイトが無効化され正当な機能が維持されることを確認し、pass@1 を採用する。
DeepsecBench-AA は Vercel の DeepsecBench を実装したもので、アプリケーションコード中の脆弱性発見能力を測る。重大修正前のコミットに固定された実オープンソースコードを使い、エージェントは最大500ターンで発見結果を提出する。発見は専門家検証済みのゴールデンセットと照合され、GPT-5.6 Sol (high) が判定し、再現率を重視する F2 スコアを3回実施の中央値で報告する。
CyberGym-E2E-AA はバークレー RDI の CyberGym-E2E を実装したもので、C/C++ オープンソースプロジェクトのメモリ安全性脆弱性131件（920脆弱性・139プロジェクトのデータセットからプロジェクト毎に1タスクを抽出）を扱う。エージェントは脆弱性を特定し、サニタイザクラッシュを起こす PoC 入力を書き、90分以内にパッチを提出する。採点は4段階累積（PoCが未修正版をクラッシュ、パッチがクラッシュを修正、パッチ後も機能テストが通る、第4段階は診断用）で、第1〜3段階がすべて通れば1点、pass@1 を採用する。
採点方式と安全拒否の扱い
総合スコアは3つのサブ評価の等分平均。全サブ評価は Stirrup 上で同一プロンプト・ツール・無接続サンドボックスで実行される。安全拒否はスコアと別に記録され、防御的作業の拒否が能力スコアを左右しない。
ランキングは単タスクコストとセーフティブロック（Safety Blocks）も併記する。Artificial Analysis は「信頼アクセス」モデル（例：GPT-6 Sol Daybreak Blue）を別カテゴリで管理し、公開モデルと分けてランキングする。
ランキングの変遷と最新結果
Cyber Index は2026年9月の開始後、公開モデルの上位は56点が長く続いた：Grok 4.7（xhigh）と MiMo-V2.6-Pro が首位、GPT-6 Luna（Max）53点、GLM-5.3-Flash 50点。独立分析（al-ice.ai、2026年9月29日）は、一部のフロンティアモデルが防御作業を広範囲に拒否したこと、上位総合も56%を超えなかったことを指摘した。
2026年10月24日、Artificial Analysis は新ランキングを公表し、DeepSeek-V4.1-Flash-1017（max）が57%で公開モデル首位となり、従来の首位を1ポイント上回った。同モデルは DeepSeek が2026年9月10日に発表した V4.1-Flash の10月17日更新版で、5520億パラメータの MoE（入力活性80億・出力活性160億）を採用する。
限界と利用上の注意
公式メソドロジーは、結果が実装に依存すること（cwe-bench.com、Vercel、バークレー RDI の公表値と直接比較できないこと）、インシデント対応・ソースアクセスなしのターゲット・エクスプロイト実現を対象外とすること、パス率が単回試行の結果であることを明記している。
モデル選定では、Cyber Index はエージェント型サイバー防御という一側面のみを測るため、他能力評価やコストと併用すべきである。スコア引用時はモデルバージョン（例：-1017）、推論設定（例：max）、公表日を明記する。
データソースと参考
- Artificial Analysis Cyber Index メソドロジー：https://artificialanalysis.ai/methodology/cyber-index
- Artificial Analysis Cyber Index ランキング：https://artificialanalysis.ai/evaluations/artificial-analysis-cyber-index
- Artificial Analysis 信頼アクセスモデル：https://artificialanalysis.ai/articles/trusted-access-models-cyber-index
- 智源コミュニティ（2026年10月24日、DeepSeek 首位報道）：https://hub.baai.ac.cn/?tag_id=1003
- DeepSeek 公式ニュース（V4.1 Flash 発表）：https://www.deepseek.com/en/news/deepseek-v4-1-flash/
- al-ice.ai 分析（2026年9月29日）：https://al-ice.ai/posts/2026/09/artificial-analysis-cyber-index-refusals-patching-gap/