一句话总结
自动化工具的老问题是「脚本写错了」,AI 代理的新问题是「它理解了别的意思,但仍然照做了」。前者可以回归测试,后者只能靠权限边界兜住。
一周之内,三家公司都在谈同一件事
2026 年 11 月 19 日至 20 日,三件互不相干的事指向同一个问题。
Google 为 macOS 版 Gemini 上线「电脑操控」:用自然语言让 AI 跨应用点击、输入、填表,任务在独立后台窗口执行,聊天界面显示实时预览,关键操作前需用户确认,用户可以自行选择允许访问哪些应用。
据多家媒体报道,Apple 正在开发自己的电脑操控型 AI 代理,能操作应用、浏览网页、编写代码,项目处于早期阶段,并准备为竞争性代理增加额外权限警告。
Meta 的 Muse 则出现了另一种问题:员工反映在会话里看到了不属于自己的育儿信息、个人提醒与银行余额。Meta 回应称,员工测试的是尚未向公众开放的版本。
三件事分别对应三种不同的焦虑:范围(Gemini 的「能操作多少」)、系统(Apple 的「操作系统该不该提醒」)、隔离(Meta 的「上下文会不会串」)。
三层权限结构
把市面上的做法拆开,其实只有三层,任何产品都在这三层里做取舍。
| 层级 | 谁来决定 | 管什么 | 本次出现的做法 |
|---|---|---|---|
| 应用级 | 用户 | 代理能碰哪些程序与文件夹 | Gemini:用户自选允许访问的应用,而非整机授权 |
| 操作级 | 代理 + 用户 | 具体动作是否执行 | Gemini:关键操作前请求确认;可随时暂停或停止 |
| 系统级 | 操作系统 | 是否提示、是否标注、是否显示透明指示 | macOS 27.3:风险提示、权限范围明示、当前有应用在控制另一应用的指示 |
三层的分工是有道理的:应用级回答「范围」,操作级回答「这一步要不要做」,系统级回答「用户是否知情」。
Gemini 这次的设计在这三层里都做了动作,但重心在应用级——它把「整机控制权」这件事拆成了「哪些应用可以被操作」。这个拆法降低了最坏情况的上限:即使模型误判,损失也被限制在用户勾选的那几个应用里。
macOS 27.3 的计划则是把系统级补齐:让用户在任何时候都能看到「有东西在控制另一个东西」,并且被告知这类访问意味着什么风险。已授权应用不需要重新授权,这一点很关键——如果每次系统更新都要求重授权,用户会习惯性点「允许」,提示就失效了。
三种失效方式
权限设计解决的是「不该做的别做」,但现实里的失效往往来自另外三个方向。
第一,范围过宽。 用户为了省事,把整台电脑的控制权一次给出;或者某个应用被授权后,代理借它去访问了本不该访问的数据(例如通过文件管理器读取整个磁盘)。这类失效的根源是授权粒度过粗。
第二,上下文串台。 Meta Muse 的事件属于这一类:不是权限给多了,而是会话之间的隔离没做好。AI 代理通常需要读取屏幕内容、剪贴板、通知、最近文件,这些「环境信息」如果被混进别人的会话,就变成隐私泄露。这类失效很难靠白名单解决,因为问题不在「能访问哪个应用」,而在「能访问谁的上下文」。
第三,过程不可见。 代理在后台连续执行几十个动作,用户只看到最后的结果。如果中间某一步误判(比如把「整理桌面」理解成「删除下载文件夹」),而用户没有实时看到,损失就已经发生。Gemini 的实时预览与暂停按钮,正是针对这一点的设计。
三种失效的修复方式完全不同:范围靠授权粒度,串台靠隔离与账号边界,不可见靠过程透明。三者不能互相替代。
与 RPA 的区别
有人会说,这不就是 RPA(机器人流程自动化)吗?区别在两个地方。
一是输入方式。RPA 依赖预先写好的脚本或录制的操作序列,行为可预测,出错多为「界面改版导致定位失败」,属于工程问题。AI 代理接受自然语言指令,行为由模型实时决定,出错多为「意图理解偏差」,属于语义问题。前者可以回归测试,后者很难穷举。
二是适用范围。RPA 只在固定流程里可靠,一旦界面或流程变化就要重写;AI 代理能处理变化,代价是每次执行都不完全一样。可靠性与覆盖范围在这条线上是此消彼长的关系。
这也解释了为什么权限设计在 AI 代理上比在 RPA 上重要得多:RPA 的风险主要是「做错」,AI 代理的风险是「做对了一件你没让它做的事」。
落地的四条检查项
以下四条不是预测,是从上述事实里能直接推出来的检查项。
第一,授权是否按应用而非整机。如果某个工具只提供「全盘控制」一个选项,那它把范围风险全部转移给了用户。
第二,是否有可中断的执行过程。能不能在看不清的地方按暂停,决定了误判的代价上限。
第三,关键动作是否有二次确认。删除、支付、发送、修改系统设置,这四类动作应当默认拦截确认,而不是默认放行。
第四,系统层是否标注。当有代理在操作时,操作系统是否给出可见标识。这一条在 macOS 27.3 上线前无法验证,但它决定了「用户是否知情」这个最基本的问题。
一个反向的观点
同一天还有另一条新闻:欧盟委员会确认遭 AI 辅助网络攻击,人事与医保系统中断超过 10 天。
这件事提醒我们,AI 在攻击侧也在提速——用 AI 加速漏洞识别,把原本需要人工数周的侦察阶段压缩。防守方拿到的 AI 代理权限越大,被利用的路径也越多。
所以「AI 能操作电脑」这件事的净收益,并不只取决于产品做得多好,还取决于它把多少攻击面暴露出来。一个能读屏幕、能点按钮、能填表单的代理,如果被诱导执行了错误动作,效果与一个恶意脚本并无区别。
一个容易被忽略的细节
Gemini 的「后台独立窗口」设计,不只是体验优化,它同时改变了审计的可能性。
传统的前台自动化会留下明显的视觉痕迹:窗口切换、光标移动、按钮高亮。后台执行把这些痕迹收进了另一个窗口,主屏上看不到。好处是不打扰,代价是「旁边的人」也不再能通过屏幕观察发现异常。
这意味着审计要从「肉眼可见」转向「日志与状态指示」。macOS 27.3 计划中的透明指示,恰好补上了这一环:在系统层给出「有应用正在控制另一个应用」的标记,让不可见的执行重新变得可见。如果这个指示被用户关掉或忽略,后台执行就回到了黑箱状态。
边界
- Gemini for Mac 的功能细节、权限模型、机型与订阅条件来自 Google 官方说明及媒体转述;
- Apple 自研代理为媒体报道,公司未正式确认,本文仅记录动向,不推断其实现方式;
- Meta Muse 的会话串台问题来自员工反映与媒体转述,Meta 称涉事版本未对公众开放,事件性质以公司调查为准;
- macOS 27.3 的提示机制为发布前描述,实际行为以系统正式版为准;
- 欧盟委员会事件的事实见同日另一篇报道,本文仅作对照引用,不评价任何国家或机构;
- 本文不提供任何规避权限、绕过系统提示或提升代理权限的方法,仅讨论设计与治理层面的公开信息。
