软件研发智能化
同一模型换 9 种智能体框架:植入缺陷修复得分相差超过 8 分
Paweł Huryn 用 DeepSeek V4.1 Flash 1017 分别跑 9 种智能体框架,比较修复植入缺陷的数量,得分差距超过 8 分,Pi coding agent 与 Grok Build CLI 均为 40.4 分(满分 105)。
据 X 用户 KZKI 转述,Paweł Huryn 做了一组对照测试:固定使用同一个模型 DeepSeek V4.1 Flash 1017,分别放进 9 种智能体框架(harness)里运行,统计各自能修好多少个事先植入代码中的缺陷。结果显示,即使模型完全相同,不同框架之间的得分差距也超过 8 分;其中 Pi coding agent 与 Grok Build CLI 同为 40.4 分(满分 105 分)。
flowchart LR
M[同一模型<br/>DeepSeek V4.1 Flash 1017] --> H1[框架 1]
M --> H2[框架 2]
M --> H3[…共 9 种框架]
H1 & H2 & H3 --> T[修复植入缺陷<br/>满分 105]
T --> R[得分差距 > 8 分]
所谓智能体框架,是包在模型外面的那一层软件:它决定给模型看哪些文件、怎样调用终端和测试、出错后如何重试、上下文满了怎样压缩。这些工程细节不改变模型本身的能力,却直接影响模型能否找到问题所在、改完后是否会验证。
这组测试为研发团队提供了一个实用视角:评估编码工具时,不能只看底层用的是哪个模型,框架的检索策略、工具调用方式和验证流程同样重要。团队在选型时,可以固定模型、只换框架,用自家代码库里的历史缺陷做类似的对照,结果往往比公开榜单更贴近实际。
转述帖仅披露了部分结果,完整的 9 个框架排名和测试方法需以 Paweł Huryn 的原始发布为准;单次测试也可能受随机性影响,结论宜作为参考而非定论。