IBM 公开对照:同一模型下换智能体框架,AppWorld 完成率从三成到八成
IBM Research 在 Hugging Face 发文:同一开源权重模型跑 AppWorld 九十题,仅更换 harness,任务完成率从约三成升到约八成,并说明企业侧策略执行点。
IBM Research 于十一月三日在 Hugging Face 发文,报告一次受控对照:在同一开源权重模型 GLM-5.3-flash 上,只更换智能体 harness,AppWorld 九十题的任务完成率从约百分之三十升到约百分之八十一。文章把问题从「选哪个模型」转向「这个工作负载该配哪套 harness」。
对照对象是 CUGA、Nous Research 的 Hermes,以及 LangChain 的 Deep Agents。任务落在 AppWorld:九个应用、四百五十七个接口上的多步操作,包括登录、读接口说明、翻页和跨应用改状态。评估用 Harbor 框架,一题一次尝试;CUGA 侧配置含任务拆解、执行前校验与自动反思,Hermes 与 Deep Agents 走 Harbor 默认或带中间件的 MCP 工具接入。作者写明三套设置并不完全相同,且本轮未启用策略,因此结果不能当作对 Hermes 或 Deep Agents 的总评,也不能衡量策略执行能力。
数字上,CUGA 报任务完成率百分之八十一点一(七十三/九十)、场景完成率百分之六十六点七(二十/三十);Hermes 约百分之四十六点七与百分之二十六点七;Deep Agents 约百分之三十与百分之六点七。场景完成要求同一场景三个变体全过,作者认为它更能反映稳定性。文中同时提醒:样本量有限、配置不完全对齐、消费者应用基准只是企业 API 自动化的代理,外推需谨慎。
相对基准之外,博文把重点放在企业约束。CUGA 把支付审批、个人信息边界等规则从提示词挪到 harness:意图拦截、剧本、工具批准、ToolGuard 与输出模板在运行时硬停或硬检。政策演练场示例里,无策略代理会付清含催收拒赔在内的九十美元,有策略的代理则先审批、只付到期的十美元。项目以 Apache 2.0 开源,文档说明可接 OpenAI 兼容端点,部署在本地、私有或主权 Kubernetes,以至隔离集群,并提供预算与运行回执。
官方快速入门把 CUGA 定位为可配置的企业自动化 harness:挂接 API、MCP 与策略后由 SDK 或 cuga start 执行;管理端可起草工具与策略再发布版本。文档还列出 CugaAgent 与可跨本地或 A2A 委派的 CugaSupervisor。选型上,作者建议终端写码场景用 Codex 或 Claude Code 一类工具,个人常驻助手看 Hermes 等,空白图编排直接用 LangGraph;CUGA 面向在可执行规则下跨 API、应用与网页做业务自动化。读者若要复现,文中指向公开的 harbor-eval 配置,并欢迎提交其他 harness 的对照配置以便按同一题集重跑。
参考资料
- Same Model, Different Harness: CUGA, Hermes, and Deep Agents — When to Pick CUGA? · Hugging Face Blog / IBM Research
- Quick Start | CUGA AGENT · CUGA Docs