康奈尔与阿里论文:智能体 harness 里独立评审比催自检更划算
康奈尔与阿里在 arXiv 发布智能体 harness 验证研究,比较十七种设计;独立批评者在编码基准上给出更有利的准确率与成本权衡。
康奈尔大学与阿里巴巴团队在 arXiv 发布论文《Rethinking Verification in Agent Harnesses》(编号 2610.34577),把智能体 harness 里的验证当作测试时扩展的一条轴,系统比较何时介入、由谁检查、以及检查结果如何驱动修改。作者在智能体生命周期上划出四层:初始验证指令、执行中提醒、完成门控,以及独立评审。全文共比较 17 种设计,并在 Terminal-Bench、SWE-bench Verified 与自建 VisualBench 上报告结果。
实验在阿里云 DashScope 上调用七个编码模型,包括 Qwen3.7-Max、Qwen3.8-Max、GLM-5.2、DeepSeek V4-Pro、DeepSeek V4-Flash、Kimi-K2.7-Code 与 MiniMax-M2.5;独立评审的批评者统一使用 Qwen3.7-Plus。环境为 E2B 云沙箱,由 Harbor 编排。论文摘要写到:初始指令与执行期提醒在编码基准上带来中等、且随模型变化的平均收益,且不大幅增加平均输出 token;完成门控可能带来更大收益,但成本上升更明显;由独立批评者做评审在准确率与成本之间更划算,Terminal-Bench 平均准确率提高 5.9 到 9.5 个百分点,相对基线成本约 1.13 到 1.25 倍,SWE-bench Verified 提高 3.9 到 6.6 个百分点,成本约 1.00 到 1.04 倍。VisualBench 上,独立评审相对基线的净偏好约 13.2 到 23.8 分,高于所评估的前三层设计。增加评审轮次或并行批评者,还可再抬高 Terminal-Bench 平均准确率至多约 3.5 个百分点。
对已经在用 Claude Code hooks、Codex 自审一类机制的团队,论文的主建议是:与其反复催促主智能体自检,不如给一个便宜、新上下文、带沙箱权限的独立批评者,并默认提供任务要求与变更内容,而不是整段轨迹。作者也强调效果高度依赖模型,用户角色指令甚至会让部分模型变差。Harness Hub 的对抗性评述把该文标为 Important,同时指出七个编码模型均经阿里云提供、批评者始终是 Qwen 家族,且主表缺少置信区间,子集任务选择也可能放大噪声。
落地时仍应把论文数字当作同家族模型与所选任务子集上的对照,而不是跨厂商通用成功率。公开材料没有报告用 Claude、GPT 或 Gemini 作编码模型、或换用不同家族批评者时的结果;VisualBench 仅 18 题,评分来自公司内部数据团队。管理者若要改 harness,可先在自有金丝雀任务上对比“系统角色验证指令”“编辑后提醒”“拒绝完成门控”与“独立批评者”四类,并单独记账批评者与返工 token,避免把摘要里的百分点直接写进 SLA。
技术栈上,L0 把验证说明放进系统或用户初始消息;L1 在工具结果之后、下一轮模型调用之前插入周期性或编辑后提醒;L2 在智能体声称完成时要求检查变更、跑测或直接拒绝完成;L3 则另起批评者,在新鲜上下文中阅读任务与产物,可访问同一沙箱做检查,再把发现交回主智能体修改。论文还比较了批评者看“变更”还是“完整轨迹”、以及按任务优先还是按声明引导检查等变体。轨迹版批评者成本更高,且在 VisualBench 上并不稳定优于变更版。
对研发负责人,可把这篇当作验证预算分配的参考:把有限测试时算力优先给独立评审,而不是无差别加长主智能体自我对话。若批评者单价远低于主模型,账本上的性价比会更好看;若必须用同价模型自审,论文未给出对等价格对照,需要自行补测。作者声明 VisualBench 人评已获伦理批准,生成式工具仅协助实现与润色,终稿由作者负责。