文章

当 AI 开始点鼠标:电脑操作型代理的三层权限,与三种失效方式

Google 的 Gemini for Mac 上线电脑操控,权限按应用授权、任务后台执行、关键操作需确认;Apple 据报正在自研同类代理并准备额外权限警告;Meta 的 Muse 则被员工反映出现私人对话串到错误会话。本文把这三件事拆成三层权限结构与三种失效模式,并给出可核验的设计原则与落地检查清单。

一句话总结

自动化工具的老问题是「脚本写错了」,AI 代理的新问题是「它理解了别的意思,但仍然照做了」。前者可以回归测试,后者只能靠权限边界兜住。

一周之内,三家公司都在谈同一件事 ​

2026 年 11 月 19 日至 20 日,三件互不相干的事指向同一个问题。

Google 为 macOS 版 Gemini 上线「电脑操控」:用自然语言让 AI 跨应用点击、输入、填表,任务在独立后台窗口执行,聊天界面显示实时预览,关键操作前需用户确认,用户可以自行选择允许访问哪些应用。

据多家媒体报道,Apple 正在开发自己的电脑操控型 AI 代理,能操作应用、浏览网页、编写代码,项目处于早期阶段,并准备为竞争性代理增加额外权限警告。

Meta 的 Muse 则出现了另一种问题:员工反映在会话里看到了不属于自己的育儿信息、个人提醒与银行余额。Meta 回应称,员工测试的是尚未向公众开放的版本。

三件事分别对应三种不同的焦虑:范围(Gemini 的「能操作多少」)、系统(Apple 的「操作系统该不该提醒」)、隔离(Meta 的「上下文会不会串」)。

三层权限结构 ​

把市面上的做法拆开,其实只有三层,任何产品都在这三层里做取舍。

层级谁来决定管什么本次出现的做法
应用级用户代理能碰哪些程序与文件夹Gemini:用户自选允许访问的应用,而非整机授权
操作级代理 + 用户具体动作是否执行Gemini:关键操作前请求确认;可随时暂停或停止
系统级操作系统是否提示、是否标注、是否显示透明指示macOS 27.3:风险提示、权限范围明示、当前有应用在控制另一应用的指示

三层的分工是有道理的:应用级回答「范围」,操作级回答「这一步要不要做」,系统级回答「用户是否知情」。

Gemini 这次的设计在这三层里都做了动作,但重心在应用级——它把「整机控制权」这件事拆成了「哪些应用可以被操作」。这个拆法降低了最坏情况的上限:即使模型误判,损失也被限制在用户勾选的那几个应用里。

macOS 27.3 的计划则是把系统级补齐:让用户在任何时候都能看到「有东西在控制另一个东西」,并且被告知这类访问意味着什么风险。已授权应用不需要重新授权,这一点很关键——如果每次系统更新都要求重授权,用户会习惯性点「允许」,提示就失效了。

三种失效方式 ​

权限设计解决的是「不该做的别做」,但现实里的失效往往来自另外三个方向。

第一,范围过宽。 用户为了省事,把整台电脑的控制权一次给出;或者某个应用被授权后,代理借它去访问了本不该访问的数据(例如通过文件管理器读取整个磁盘)。这类失效的根源是授权粒度过粗。

第二,上下文串台。 Meta Muse 的事件属于这一类:不是权限给多了,而是会话之间的隔离没做好。AI 代理通常需要读取屏幕内容、剪贴板、通知、最近文件,这些「环境信息」如果被混进别人的会话,就变成隐私泄露。这类失效很难靠白名单解决,因为问题不在「能访问哪个应用」,而在「能访问谁的上下文」。

第三,过程不可见。 代理在后台连续执行几十个动作,用户只看到最后的结果。如果中间某一步误判(比如把「整理桌面」理解成「删除下载文件夹」),而用户没有实时看到,损失就已经发生。Gemini 的实时预览与暂停按钮,正是针对这一点的设计。

三种失效的修复方式完全不同:范围靠授权粒度,串台靠隔离与账号边界,不可见靠过程透明。三者不能互相替代。

与 RPA 的区别 ​

有人会说,这不就是 RPA(机器人流程自动化)吗?区别在两个地方。

一是输入方式。RPA 依赖预先写好的脚本或录制的操作序列,行为可预测,出错多为「界面改版导致定位失败」,属于工程问题。AI 代理接受自然语言指令,行为由模型实时决定,出错多为「意图理解偏差」,属于语义问题。前者可以回归测试,后者很难穷举。

二是适用范围。RPA 只在固定流程里可靠,一旦界面或流程变化就要重写;AI 代理能处理变化,代价是每次执行都不完全一样。可靠性与覆盖范围在这条线上是此消彼长的关系。

这也解释了为什么权限设计在 AI 代理上比在 RPA 上重要得多:RPA 的风险主要是「做错」,AI 代理的风险是「做对了一件你没让它做的事」。

落地的四条检查项 ​

以下四条不是预测,是从上述事实里能直接推出来的检查项。

第一,授权是否按应用而非整机。如果某个工具只提供「全盘控制」一个选项,那它把范围风险全部转移给了用户。

第二,是否有可中断的执行过程。能不能在看不清的地方按暂停,决定了误判的代价上限。

第三,关键动作是否有二次确认。删除、支付、发送、修改系统设置,这四类动作应当默认拦截确认,而不是默认放行。

第四,系统层是否标注。当有代理在操作时,操作系统是否给出可见标识。这一条在 macOS 27.3 上线前无法验证,但它决定了「用户是否知情」这个最基本的问题。

一个反向的观点 ​

同一天还有另一条新闻:欧盟委员会确认遭 AI 辅助网络攻击,人事与医保系统中断超过 10 天。

这件事提醒我们,AI 在攻击侧也在提速——用 AI 加速漏洞识别,把原本需要人工数周的侦察阶段压缩。防守方拿到的 AI 代理权限越大,被利用的路径也越多。

所以「AI 能操作电脑」这件事的净收益,并不只取决于产品做得多好,还取决于它把多少攻击面暴露出来。一个能读屏幕、能点按钮、能填表单的代理,如果被诱导执行了错误动作,效果与一个恶意脚本并无区别。

一个容易被忽略的细节 ​

Gemini 的「后台独立窗口」设计,不只是体验优化,它同时改变了审计的可能性。

传统的前台自动化会留下明显的视觉痕迹:窗口切换、光标移动、按钮高亮。后台执行把这些痕迹收进了另一个窗口,主屏上看不到。好处是不打扰,代价是「旁边的人」也不再能通过屏幕观察发现异常。

这意味着审计要从「肉眼可见」转向「日志与状态指示」。macOS 27.3 计划中的透明指示,恰好补上了这一环:在系统层给出「有应用正在控制另一个应用」的标记,让不可见的执行重新变得可见。如果这个指示被用户关掉或忽略,后台执行就回到了黑箱状态。

边界 ​

  • Gemini for Mac 的功能细节、权限模型、机型与订阅条件来自 Google 官方说明及媒体转述;
  • Apple 自研代理为媒体报道,公司未正式确认,本文仅记录动向,不推断其实现方式;
  • Meta Muse 的会话串台问题来自员工反映与媒体转述,Meta 称涉事版本未对公众开放,事件性质以公司调查为准;
  • macOS 27.3 的提示机制为发布前描述,实际行为以系统正式版为准;
  • 欧盟委员会事件的事实见同日另一篇报道,本文仅作对照引用,不评价任何国家或机构;
  • 本文不提供任何规避权限、绕过系统提示或提升代理权限的方法,仅讨论设计与治理层面的公开信息。

参考来源 ​