理应资讯
软件研发智能化

Gemini API Computer Use 正式可用,覆盖浏览器移动端与桌面

理应编辑室 ·

Google 将 Gemini API Computer Use 标为正式可用,支持截图驱动界面动作,并覆盖 Interactions 与 GenerateContent。

Gemini API 发布说明在 2026 年 10 月 30 日把 Computer Use 标为正式可用,覆盖 Interactions API 与 GenerateContent API。这项工具让模型根据屏幕截图决定下一步界面动作,例如点击、输入或滚动,再由开发者自己的客户端在浏览器、移动端或桌面环境里真正执行。接口不代替你驱动界面,只返回结构化动作,因此沙箱、凭证与失败回退仍要写在应用侧。

配套文档列出当前支持的模型:Gemini 4 Argon、Gemini 3.8 Flash、Gemini 3.5 Flash-Lite,以及 Gemini 3 Flash Preview;其中 Flash 被写成常规推荐选项。Gemini 4 与 3.x 系列还支持动作附带的意图说明、可配置安全策略,以及可选的截图提示注入检测。安全策略涵盖金融交易、敏感数据修改、通信发送、开户、同意横幅与法律条款等类别;模型仍可能要求用户确认,应用侧需要处理 require_confirmation。文档继续提醒:能力可能出错或带来安全风险,重要任务应人工盯着,避免用在关键决策、敏感数据或难以挽回的操作上。

计费方面,公开材料没有单独的 Computer Use 附加费项,成本跟随所选模型的普通 token 计价。开发者仍要自备沙箱或容器执行环境,以及把归一化坐标换算到实际视口的客户端逻辑;官方示例常用 Playwright 控制浏览器。从预览走到 GA,主要是支持状态变化:现有 GenerateContent 集成可以继续加工具,新项目也可以走带会话状态的 Interactions API,而不必先改整条流水线。若同一账号里还开着旧预览端点,应以发布说明里的 GA 条目为准核对模型名与工具字段,避免混用过期示例。

对已经在试验桌面或浏览器智能体的团队,这次变更降低了“还在预览”带来的接入顾虑,但没有取消客户端执行与安全编排的责任。上线前仍应核对目标环境、安全策略开关、是否启用提示注入检测,以及确认流程如何打断自动循环。把动作日志、截图留存与人工接管按钮写进值班手册,比单纯提高模型温度更有用。文档里若仍残留预览措辞,应与发布说明对照后更新内部接入指南,同时保留人工监督要求。 若团队已经把 Computer Use 嵌进夜间批处理,还应设定最大步数与超时,防止确认请求无人应答时一直占用会话。

参考资料

  1. Release notes | Gemini API · Google AI for Developers
  2. Computer use - Interactions API · Google AI for Developers
  3. Gemini API Computer Use is generally available · Data Studios