Vercel Labs 开源 agent-desktop:用系统无障碍树操作桌面应用
Vercel Labs 开源 agent-desktop,让智能体经系统无障碍树读写桌面应用控件,提供 CLI 与 C 库,覆盖 macOS、Windows 与 Linux。
Vercel Labs 开源了 agent-desktop。它不是内置大模型的桌面助手,而是给已有编码智能体用的计算机操控层:通过操作系统无障碍树观察应用界面,把可操作控件编成带引用的 JSON 快照,智能体再按引用点击、输入或等待,而不是靠截图像素去猜按钮位置。GitHub 仓库与官方文档站 agent-browser.dev 均以 Apache 2.0 说明发布,并同时提供命令行与可嵌入的 C 库,目标平台为 macOS、Windows 和 Linux。
安装路径以 npm 全局包为主,Bun、Yarn、pnpm 也可装同一包;需要无 Node 启动器时可从 GitHub Releases 取对应架构的本地二进制,并与平台辅助进程放在一起。macOS 需要辅助功能权限,可用 permissions --guide 打开系统设置指引;Windows 在与终端相同完整性级别下通常不用额外授权,但未签名二进制可能触发 SmartScreen;Linux 要求在用户图形会话里跑,并具备 at-spi2-core,文档以 Ubuntu 24.04 与 GNOME 为主要基线。命令默认偏无头模式,经无障碍接口动作而不抢焦点;需要真实指针或部分输入能力时再开 headed。
典型闭环是先对目标应用做 snapshot,拿到带 snapshot_id 的控件引用,再执行 click、输入或其它动作,最后再次 snapshot 或 wait 核对界面是否按预期变化。引用必须带快照编号,界面一变就可能返回过期或歧义错误,必须重新取景。密集界面可先 skeleton 再按根节点下钻。文档强调它只服务桌面应用,网页自动化应改用 agent-browser;Chromium 或 Electron 应用的网页内容可通过其打开的 DevTools 端口交给 agent-browser。若应用根本不暴露无障碍树,它也看不见界面。快照、剪贴板、截图与调试产物可能含桌面隐私内容,官方提醒不要写进公开日志或上传。
对要在本地 IDE、办公套件或内部桌面客户端上跑智能体的团队,这降低了「截图加视觉模型」路径的不确定性和重试成本,但也把可靠性绑在各应用的无障碍实现质量上。部署前应在目标操作系统核权限与会话环境,先用计算器、文件管理器一类应用做冒烟,再接入自有客户端。公开材料没有给出跨应用成功率统计,也未承诺所有商业软件控件都可定位;是否进入生产,仍取决于你们的应用清单与安全评审。Homebrew、Scoop 官方包仍在提交中,现阶段更稳妥的是 npm 或 Release 二进制。
参考资料
- vercel-labs/agent-desktop · Vercel Labs GitHub
- agent-desktop documentation · agent-browser.dev / Vercel Labs