新闻

Gemini for Mac 上线电脑操控:跨应用执行任务,权限按应用授权(2026 年 11 月 19 日)

Google 于 2026 年 11 月 19 日(当地)为 macOS 版 Gemini 应用推出 Computer Use 功能,支持用自然语言跨应用点击、输入、填表与操作菜单。任务在独立后台窗口执行,不占用主屏与鼠标,聊天界面显示实时预览,可随时暂停;关键操作前需用户确认。权限按应用逐一授权,机型要求 Apple Silicon 与 macOS Sequoia 15.0 以上,功能先对美国地区的 AI Plus、Pro、Ultra 订阅用户开放。

一句话总结

关键不在「AI 能点鼠标」,而在「AI 只能点你允许它点的应用」。Gemini 这次把电脑操控做成了一次可预览、可暂停、逐应用授权的后台任务。

事件背景 ​

2026 年 11 月 19 日(当地时间),Google 为 macOS 版 Gemini 应用推出「电脑操控」(Computer Use)功能。用户用自然语言描述任务,Gemini 就能在不同桌面应用之间切换,执行点击、输入文字、填写表单、操作菜单等动作。

这项功能上线的时间点值得注意:它赶在 macOS 27.3 正式推送之前发布。按 Google 与多家媒体的说法,新系统版本将为这类 AI 代理增加风险提示机制,明确 AI 能查看什么、能执行什么。换句话说,功能先行,系统层的约束随后跟上。

功能与运行方式 ​

项目具体内容
交互方式自然语言描述任务,AI 跨应用执行
执行位置独立后台窗口,不占用主屏幕与鼠标光标
过程可见性聊天界面显示实时操作预览
中断控制用户可随时暂停或停止任务
关键操作执行前需用户确认
权限范围用户自行选择允许 Gemini 访问的应用,而非开放整台电脑
机型要求Apple Silicon 芯片的 Mac
系统要求macOS Sequoia 15.0 或更新版本
账号要求年满 18 岁,符合条件的个人 Google 账号
订阅要求Google AI Plus、Pro 或 Ultra(美国地区先行)
订阅价格4.99 美元 / 月起

「后台窗口执行」是这个功能的关键设计。以往的自动化工具大多接管前台,鼠标会被移动、窗口会被抢占,用户只能等着。Gemini 的做法是把操控放进独立窗口,主屏和光标不受影响,用户继续做自己的事,同时在聊天界面里看 AI 在干什么。

可做的四类事 ​

Google 列举的场景不是演示,而是日常流程:

第一,批量处理照片。对本地文件夹里的一组图片执行统一编辑动作,替代逐张重复操作。

第二,从本地 PDF 提取信息并填写在线表单。这类任务的难点在「跨介质」——信息在文件里,目标在网页里,人工操作需要来回切换,AI 可以在一个任务里完成。

第三,根据实时数据制作演示文稿。把不同来源的指标与截图汇总成幻灯片。

第四,整理商品信息并在二手交易平台上架。分析本地文件夹中的衣物照片,整理属性,再填写发布表单。

四类场景的共同特征是:步骤固定、需要跨应用、单步动作简单但总次数多。这正好是人工最耗时、AI 出错成本也相对可控的区间。相反,需要连续判断、后果不可逆的任务(比如批量删除文件、修改系统设置),并不在官方示例里。

权限是怎么设计的 ​

这是本次功能里最应该被记住的部分。Gemini 没有请求「整机控制权」,而是让用户选择允许访问哪些应用。这是一种应用级白名单模型,与系统级授权不同:系统授权一旦给出,代理可以在任何应用里动作;应用级白名单则把范围限定在用户勾选的那些程序里。

在此基础上还有两层约束:一是关键操作前的确认请求;二是聊天界面里的实时预览,让用户能看见正在发生什么,并在不对时叫停。

配合 macOS 27.3 即将带来的系统层提示——受限数据访问的风险说明、AI 代理权限范围的明示、以及「当前有应用正在控制另一应用」的透明指示——整个链条形成三层:应用白名单(用户设)、操作确认(AI 请求)、系统提示(操作系统标注)。已安装并完成授权的应用,在 27.3 推送后不需要重新授权。

与同一天的其他动向放在一起看 ​

这一天,控制电脑的不止 Google。据多家媒体报道,Apple 正在开发自己的电脑操控型 AI 代理,能操作应用、浏览网页、编写代码,项目仍处早期阶段,并准备为竞争性代理增加额外权限警告。Meta 的 Muse 则因为私人对话串到了错误会话里而受到质疑——员工反映看到了不属于自己的育儿信息、个人提醒与银行余额,Meta 称员工测试的是尚未对公众开放的版本。

三件事放在一起,指向同一个问题:AI 代理拿到电脑操作权之后,边界由谁定义。Google 的答案是「用户白名单 + 实时预览 + 关键操作确认」,Apple 的方向是「系统级权限提示」,Meta 遇到的是「会话隔离失效」。技术路线不同,监管压力相同。

谁会最先用上 ​

按现有条件,能用的人被三层筛选过:硬件(Apple Silicon)、系统(Sequoia 15.0 以上)、订阅与地区(美国地区的 AI Plus / Pro / Ultra 用户)。

这三层叠加的结果是:尝鲜人群集中在美国的付费个人用户,而不是企业批量部署。企业侧的问题不是「能不能开」,而是「开了之后谁负责」——员工用个人订阅在受管设备上执行跨应用操作,日志、审计与数据边界怎么处理,目前没有公开方案。

对国内用户而言,这条消息的实用价值不在于「马上能用」,而在于知道这类能力的形态:它不接管前台、不抢鼠标、按应用授权。等它进入更多地区时,用户对权限的直觉已经建立起来了。

与历史版本的区别 ​

Gemini 的手机端与网页端此前已有一定程度的自动化能力,但多限于单一应用内的指令,例如在聊天里要求生成内容、在相机里要求识别物体。Mac 端的这次更新跨过了一道线:从「在应用内回答问题」到「在应用外执行动作」。

跨过这道线之后,产品与非产品的界限就变得模糊了。它不再是一个更聪明的输入框,而是一个能替用户跑流程的执行者。这也是为什么 Google 要同时给出后台窗口、实时预览、暂停按钮与逐应用授权——不是功能堆叠,而是这类产品上线必须配套的约束。

边界 ​

  • 功能发布时间、运行方式、权限模型、机型与系统要求、订阅条件与价格,来自 Google 官方说明及 IT 之家、太平洋科技、中关村在线、Gemini 官方帮助页的转述,多源一致;
  • 「macOS 27.3 将上线风险提示与透明指示」为 Google 与媒体的前瞻描述,正式版本的行为以系统发布后的实际表现为准;
  • 官方未披露该功能的模型版本、成功率与失败回滚机制,本文不做推测;
  • Apple 自研电脑操控代理为媒体报道,公司未正式确认,本文仅作同行动向记录;
  • Meta Muse 的隐私问题为媒体与员工反映,Meta 称涉事版本未对公众开放;
  • 本文不评价该功能的安全性强弱,不构成使用建议。

参考来源 ​