一句话总结
Artificial Analysis Cyber Index 是衡量 AI 模型智能体网络安全防御能力的评测，由三个等权子评测组成；2026 年 10 月 24 日，DeepSeek-V4.1-Flash-1017 以 57 分位居公开可用模型榜首。
背景
2026 年 9 月，Artificial Analysis 发布 Cyber Index 评测（版本 1.0，2026 年 9 月至今持续运行），用于衡量大语言模型在智能体网络安全防御任务上的表现。该评测仅覆盖防御性工作：在代码库中发现问题、复现并验证漏洞、在不破坏现有功能的前提下完成修复。
2026 年 10 月 24 日，Artificial Analysis 公布新榜单（UTC 时间 2026 年 10 月 23 日 17:23），DeepSeek-V4.1-Flash-1017（max）以 57% 的综合得分位居公开可用模型第一。此前的榜单头部由 Grok 4.7（xhigh）与 MiMo-V2.6-Pro 以 56 分并列。
评测范围与设计原则
Cyber Index 明确限定评测边界。官方方法学文档列出三类不覆盖的任务：应急响应、在不引入新漏洞的前提下编写新代码、无源码访问权的目标（如编译软件或线上服务器）、漏洞利用实现。
评测的每个任务均从源码访问开始，模拟安全工程师审计应用的工作方式；没有任何任务要求模型把漏洞转化为可工作的漏洞利用程序。模型或服务商出于安全理由拒绝执行任务的情况会被单独记录，不计入得分。
所有模型在同一开源智能体框架 Stirrup 上运行，每个评测内使用相同的提示词与工具，评测环境为无互联网访问的隔离沙箱。
三个等权子评测
Cyber Index 综合得分为三个子评测的等权平均值，各占三分之一权重。
CWE-Bench-AA 由 Artificial Analysis 实现自 Collinear AI 的 CWE-bench，包含 120 个保密任务（覆盖 2025 版 OWASP Top 10 全部十个类别，语言涉及 C/C++、Go、Java、JavaScript/TypeScript、Python、Rust）。每项任务模拟真实安全审计：智能体获得代码仓库与一条审计指令，在 2 小时时限内审计并修复；评分由确定性验证器执行，确认漏洞利用不再生效且合法功能仍正常工作，以 pass@1 为头条指标。
DeepsecBench-AA 实现自 Vercel 的 DeepsecBench，评测模型在应用代码中发现漏洞的能力。任务基于固定到重大漏洞修复前提交点的真实开源应用代码，智能体以最多 500 轮交互提交发现；发现结果与人工专家验证的黄金集合比对，由 GPT-5.6 Sol (high) 作为评审判断真伪并匹配，头条指标为 F2（召回权重高于精确率），每个任务重复三次取中位数。
CyberGym-E2E-AA 实现自伯克利 RDI 的 CyberGym-E2E，覆盖 131 个来自 C/C++ 开源项目的内存安全漏洞（从包含 920 个漏洞、139 个项目的原始数据集按每项目一个任务筛选）。智能体须定位漏洞、编写触发 sanitizer 崩溃的概念验证输入并提交补丁，限时 90 分钟；评分按四个累计阶段执行：概念验证崩溃未修复版本、补丁修复崩溃、补丁后项目功能测试通过、第四阶段诊断性验证补丁同时修复真实漏洞。前三阶段全部通过计 1 分，头条指标为 pass@1。
计分方式与安全拒绝处理
综合得分是三个子评测的等权平均，权重各三分之一。子评测口径统一：每个评测均在 Stirrup 框架上运行同一套提示词与工具，沙箱无互联网访问。模型拒绝执行任务的情况与得分分开记录，避免「拒绝防御性工作」被计入能力分。
榜单数据同时标注单任务成本与安全拦截（Safety Blocks）信息，供成本与能力的联合评估。Artificial Analysis 同时维护「可信访问」模型类目（如 GPT-6 Sol Daybreak Blue），该类模型通过厂商专属接入评测，与公开可用模型分开排名。
榜单演变与最新结果
Cyber Index 于 2026 年 9 月上线后，公开可用模型的头部得分长期停留在 56 分：Grok 4.7（xhigh）与 MiMo-V2.6-Pro 并列第一，GPT-6 Luna（Max）53 分，GLM-5.3-Flash 50 分。独立分析（al-ice.ai，2026 年 9 月 29 日）指出，部分前沿模型在防御性工作中存在大面积拒绝现象，头部综合得分均未超过 56%。
2026 年 10 月 24 日，Artificial Analysis 公布新榜：DeepSeek-V4.1-Flash-1017（max）以 57% 的综合得分成为公开可用模型第一，超过此前并列榜首 1 个百分点。该模型为 DeepSeek 于 2026 年 9 月 10 日发布的 V4.1-Flash 的 10 月 17 日更新版本，采用 5520 亿参数 MoE 架构（输入激活 80 亿、输出激活 160 亿）。
局限与使用注意
官方方法学明确提示评测存在局限，包括：结果受实现细节影响（Artificial Analysis 的实现与 cwe-bench.com、Vercel、伯克利 RDI 各自发布的数字不可直接比较）；不覆盖应急响应、无源码目标与漏洞利用；通过率指标反映单次尝试结果。
对模型选型而言，Cyber Index 仅衡量智能体网络安全防御一个维度，应与其他能力评测与成本数据联合使用。引用榜单数字时需注明模型版本（如 -1017）、推理档位（如 max）与公布时间。
数据来源与参考
- Artificial Analysis Cyber Index 方法学：https://artificialanalysis.ai/methodology/cyber-index
- Artificial Analysis Cyber Index 榜单：https://artificialanalysis.ai/evaluations/artificial-analysis-cyber-index
- Artificial Analysis 可信访问模型说明：https://artificialanalysis.ai/articles/trusted-access-models-cyber-index
- 智源社区（2026 年 10 月 24 日 DeepSeek 登顶报道）：https://hub.baai.ac.cn/?tag_id=1003
- DeepSeek 官方新闻（V4.1 Flash 发布与更新）：https://www.deepseek.com/en/news/deepseek-v4-1-flash/
- al-ice.ai 分析（2026 年 9 月 29 日）：https://al-ice.ai/posts/2026/09/artificial-analysis-cyber-index-refusals-patching-gap/