Google正为Mac版Gemini应用升级“计算机使用”功能,实现本地桌面应用与网页间的协同操作。

此前,Mac版中的“任务”功能(原Gemini Spark)仅限访问Gmail或Google日历等已连接应用的本地文件。新版功能则允许Gemini模拟用户点击与输入,在本地桌面应用及网页中执行导航菜单、填写表单等多步骤任务。

后台运行与安全机制

Gemini将在“隔离的背景窗口”中运行,并在聊天界面提供实时预览,期间主屏幕和光标仍可供用户自由使用。安全方面,用户可随时单击停止操作,并自主授权Gemini访问的应用程序。涉及登录、支付等敏感操作时,Gemini将暂停并等待用户确认。

许多日常任务涉及互不连接的桌面应用和网站。计算机使用功能会在后台处理繁琐步骤,让用户在不占用屏幕和光标的情况下节省时间。

典型应用场景

  • 加速创意工作流:在设计软件中批量调色照片,或搭建复杂3D场景。
  • 自动化表单录入:从本地PDF提取重量、尺寸及地址信息,自动填写多栏位运费报价单。
  • 数据转演示文稿:从多地实时仪表板提取指标和截图,直接在Google幻灯片中构建演示文稿。
  • 批量商品上架:分析本地服装照片,研究定价并记录详情,自动生成二手交易平台的上架信息。

使用时只需在提示词中添加“@Computer use”。在“自定义与连接器”设置中,Blender和Autodesk Fusion等新加入的“桌面”类应用,将与现有的Git和Obsidian集成选项并列显示。

该功能即日起面向美国英语地区的Google AI Plus、Pro和Ultra订阅用户逐步推送。