一句话总结
随着谷歌于 2026 年 10 月 28 日发布 Gemini 4 Carbon 并公布其在 SEC-bench Pro、ExploitGym、CWE-bench 上的成绩,网络安全已成为旗舰大模型的核心评测维度;本篇文章解读这三个基准分别测什么、怎么测,以及如何正确看待分数。
背景:为什么网络安全成为大模型评测新焦点
2026 年以来,前沿模型厂商陆续把「漏洞发现、漏洞利用、漏洞修复」写入官方评测。2026 年 10 月 28 日,谷歌在发布 Gemini 4 Carbon 时同步公布其网络安全成绩:漏洞发现基准 SEC-bench Pro 得分 88.2%,漏洞利用基准 ExploitGym 得分 54.8%,漏洞修复基准 CWE-bench 得分 71.0%。同一批数据中,Claude Opus 5.5 在 ExploitGym 得 34.5%、CWE-bench 得 67.0%;GPT-6 Astra 在 SEC-bench Pro 得 85.4%、ExploitGym 得 42.4%、CWE-bench 得 68.0%(据 MarkTechPost 汇总)。网络安全能力从「加分项」变成了「必考项」。
SEC-bench Pro:漏洞发现能力怎么考
SEC-bench Pro 由 Meta 等机构在 2025 年推出(SEC-bench)后升级而来,评估模型在代码库中定位安全漏洞的能力。测试方式一般给出一个真实或合成的软件仓库,要求模型回答「漏洞是否存在、位于哪个文件哪一行、属于哪类缺陷」。评分以定位准确率为主。实测中,Gemini 4 Carbon 以 88.2% 领先 GPT-6 Astra 的 85.4%;Claude Opus 5.5 未公布该基准成绩。该基准适合衡量「审计代码」型任务,是安全运营中最常见的需求。
ExploitGym:漏洞利用验证怎么考
ExploitGym 由美国国防高级研究计划局(DARPA)等机构推动,评估模型能否在受控环境中把已发现漏洞转化为可执行的利用程序。它模拟隔离的靶机环境,模型需要编写或调用代码触发漏洞,并满足预设的成功条件;环境自带自动判定,减少人工阅卷偏差。由于利用能力直接关联攻击风险,该基准的分数往往低于漏洞发现类基准:Gemini 4 Carbon 为 54.8%,GPT-6 Astra 为 42.4%,Claude Opus 5.5 为 34.5%。分数低一方面说明任务难度高,另一方面也说明厂商在安全护栏上有所取舍。
CWE-bench:漏洞修复能力怎么考
CWE-bench 以通用缺陷枚举(CWE)为分类框架,评估模型针对已定位漏洞生成修复补丁的正确性。测试通常提供漏洞代码与上下文,要求模型输出最小化、可编译、不破坏原有功能的补丁,再通过回归测试判定是否修复。Gemini 4 Carbon 得 71.0%,Claude Opus 5.5 得 67.0%,GPT-6 Astra 得 68.0%。修复类基准更接近日常开发与安全运维场景,对模型代码生成质量与工程约束理解要求较高。
第一,区分评测环境:上述成绩均在「无安全护栏(unrestricted)」的测试环境中测得,不代表模型默认行为。第二,区分来源:SEC-bench Pro 与 CWE-bench 由第三方机构维护,ExploitGym 亦为独立环境,但模型得分由厂商或评测机构按统一流程公布,阅读时应核对基准版本与测试日期。第三,区分能力边界:漏洞利用分数低不代表模型「更安全」,反而说明测试难度高;旗舰模型普遍对利用类任务施加更严格的输出限制。第四,结合成本与开放范围判断:谷歌对 Gemini 4 Carbon 首批仅向经审核的网络安全防御人员开放(Fairwind 计划),分数高但可获得性有限。
