软件研发智能化
Artificial Analysis 编码智能体指数:Devin Fusion 双模型组合 68 分,单任务成本低 31%
第三方评测机构 Artificial Analysis 的编码智能体指数中,Devin Fusion 以主模型加辅助模型的组合拿到 68 分,比 Claude Code 搭配 Opus 5.5 max 高 2 分,单任务成本低 31%。
据 X 用户 Martin 转述,第三方评测机构 Artificial Analysis 在其编码智能体指数(Coding Agent Index)中给出了 Devin Fusion 的成绩:68 分,比使用 Claude Opus 5.5 max 的 Claude Code 高 2 分,同时每个任务的成本低 31%。
Devin Fusion 的做法是双模型分工:由 Claude Opus 5.5 max 担任主模型,负责规划和关键决策;GPT-6 Luna(high 档)担任辅助模型,承担部分执行工作。转述者的概括是,一个更便宜的辅助模型配合前沿模型,在编码任务上胜过了单独使用前沿模型的方案。
这一结果对研发团队的工具选型有直接意义。过去评估编码智能体,常见思路是“换更强的模型”;这组数据说明,智能体框架如何在多个模型之间分配任务,同样会影响效果和成本。对于按调用量付费、任务量大的团队,31% 的单任务成本差距会在月度账单上明显体现。
需要说明的是,指数分数反映的是 Artificial Analysis 自有测试集上的表现,2 分的差距并不大,换成团队自己的代码库和任务类型结果可能不同。引入此类多模型方案前,建议用内部真实工单做小规模对照,同时核算两家模型的调用费用与数据合规要求。