SemiAnalysis 发布智能体基准 GDPx,十一高价值领域公开榜
SemiAnalysis 11 月 2 日公开智能体基准 GDPx,覆盖芯片到软件等十一领域二百余题;公开榜上 Claude Opus 5.5 以约一成通过率居首,并同步给出成本对照。
SemiAnalysis 在 11 月 2 日公开智能体基准 GDPx,并同步上线官方排行站。作者 Max Kan、Andrew Megalaa 与 Dylan Patel 写明:评测覆盖芯片设计、网络安全、生物、金融、法律、量化交易、递归自改进、硬件设计、材料科学、对齐与软件工程十一个领域,合计 206 道任务,由十四家领域数据伙伴出题;公开榜上 Claude Opus 5.5 以 12.0 分居首,随后是 Gemini 4 Carbon 的 10.9 与 GPT-6 Astra 的 9.6。文中强调即便头部模型也大约只拿到一成通过率,刻意把难度留在仍能拉开差距的区间。
计分写得很具体。默认单题时限八小时,优先跑各模型自带执行环境,例如 Claude Code、Codex、Antigravity;没有自带环境的模型则用 OpenCode。头条分数是三次尝试的 pass@1,十一个领域等权,领域内多家伙伴也等权。金融与法律任务按设计采用高门槛评分时,各模型几乎全部为零;作者另强调 Opus 与 Astra 会因安全分类器在网络、生物、对齐上被压低分数,并给出去掉这三类后的对照视图。官方站还提供成本与表现的帕累托图,方便对照不同价位模型。
和早期知识工作基准 GDPval 的对照,是 SemiAnalysis 自己写清的动机。GDPval 多为一次性提示加附件,缺少可交互环境;GDPx 则把模型放进可检索资料室、可跑服务或工程软件。金融侧 Living Context 构造匿名交易室:Bannock Capital 以约八亿八千万美元加或有对价收购 Haverly Snack 约六成二股权,环境约四千份文件按角色分文件夹;网络侧由 Arithmetic 出题;硬件与材料任务接到 CAD、仿真一类软件。伙伴名单与质检流程写在长文与方法论说明里,作者称许多候选题因首轮质检不过关被拿掉。
领域赢家并不均匀。长文写明 Opus 5.5 在量化交易、硬件设计与芯片设计领先,Gemini 4 Carbon 在生物与软件工程占优,GPT-6 Astra 在递归自改进与材料科学更强;网络安全单项上 Muse Wonder Full 被作者单独点名为当前可用领先者。合作伙伴包括芯片侧 Aria、Arcverex、Ergodex,网络侧 Arithmetic,金融侧 Living Context,软件侧 Datacurve 等,长文称均经过质检筛选。
对采购与评测负责人,这份榜单更像一张“高价值场景还差多远”的对照表,而不是通用职场覆盖率。作者明确不把政府、地产、保险放进等权领域,主张先看高回报部署带;公开轨迹与部分公开题可复现检查,但多数私有题无法外部审计。安全分类器、厂商出题、每题样本偏少,都会影响读榜方式。读者若要用于选型,应先核对自有场景是否落在十一领域内,再按部分分与分类器开关重读,而不是只看头条名次。
参考资料
- GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains · SemiAnalysis
- GDPx leaderboard · SemiAnalysis