Shopify 用后训练开源小模型做 GraphQL 子 Agent:评审分数 74.5 略超前沿模型,中位响应 0.87 秒
Shopify 工程团队在 GTC Berlin 分享 Sidekick 的分工架构:前沿模型做规划,后训练的 Nemotron 3.5 Lightning 处理 GraphQL 任务,评审分数 74.5、中位响应 0.87 秒、成本低约 90%。
X 用户 meng shao 整理了 Shopify 工程团队成员 Drewch 在 NVIDIA GTC Berlin 2026 上的演讲内容。Shopify 的商家助手 Sidekick 采用“前沿模型做主脑、开源模型做专家”的分工:前沿模型负责和商家对话、规划并调用工具;读得多、写得少的重活交给 Shopify 自己后训练、自己部署的开源模型。
之所以这样分工,是因为 GraphQL 子 Agent 需要读 API schema、查文档、写查询、执行并返回结果,每输出 1 个 Token 大约要读 40 个 Token。用前沿模型 API 时每个 Token 都要付费,这类上下文很重的任务更适合交给自部署的小模型。
据整理,Shopify 的做法是一套反复迭代的流程:先由产品专家制定评分细则,以两位专家之间的一致程度为标准,用 GEPA、ACE 优化 LLM 评审,直到它与人工标注的一致程度相当;再用 autoresearch 循环把前沿模型 Agent 调到最好,每次只改提示词、工具描述或控制流中的一处,分数提高才保留,作为开源模型要超越的基线;选型阶段不做预训练,把候选模型放进真实子 Agent 测试,最终选中总参数 300 亿、每个 Token 激活 30 亿参数的 MoE 模型 Nemotron 3.5 Lightning;同时用 AIPerf 回放生产流量(以合成文本替代客户数据)提前测试推理性能。
训练数据来自“自愈”机制:每晚由评审抽查生产对话,不完美的交给前沿模型当“批评者”,只给提示不给答案,再由模拟商家带着提示重跑,通过后去掉提示、匿名化并加入训练集。最近 86 个晚上共修复 59535 条对话,占尝试修复的失败案例的 69%,其余由人工修正。后训练在 Blackwell GPU 上用 Megatron Bridge 完成。
在 GraphQL 任务上,Nemotron 开箱评审分只有 37.7,前沿模型为 73;第一轮训练后升到 61.5,经过 6 轮、6.1 万条修复样本后达到 74.5。速度方面,中位响应 0.87 秒,前沿模型 API 为 6.50 秒,最慢 1% 请求快 8 倍;成本比前沿模型低约 90%,各后训练模型自托管后成本比前沿模型定价低 90% 到 98%。以上均为 Shopify 团队自评结果,评审标准由其内部制定。