理应资讯
零售智能化

Shopify Sidekick:用自研后训练开源模型承接高 token 子任务

理应编辑室 ·

Shopify Engineering 介绍 Sidekick 持续学习闭环:前沿模型负责任务规划,高 token 消耗的子智能体改由公司后训练并自托管的开源模型(如 Nemotron 3.5 Lightning)承接,以降低成本并加快响应。

Shopify Engineering 发文《How Shopify turns open models into task experts》:商务助手 Sidekick 仍由前沿模型负责与商家对话、规划并调用工具;但对上下文极重的子任务,会交给公司后训练并自行托管的开源模型。以 GraphQL 子智能体为例,读 schema、查文档、写查询时读多写少,约 40:1 的读写 token 比会让前沿模型 API 账单迅速膨胀。

团队选择在真实子智能体环境中评估开源底座,最终采用 NVIDIA Nemotron 3.5 Lightning(MoE,约 300 亿参数中每 token 激活约 30 亿)。文中称在该任务上分数略高于前沿模型,响应快约 7×,服务成本约低 90%,且权重自控、可在自有 GPU 上服务。闭环还包括:产品专家量规、用 GEPA/ACE 校准的 LLM 评判器、对前沿版智能体的自动研究改进,以及夜间「自愈」把失败会话变成训练样本——近期 86 个夜间运行中,自愈修复了其尝试失败案例的约 69%(约 59535 段 GraphQL 会话)。训练与评测栈提到 Megatron Bridge、AIPerf/Dynamo、TensorRT-LLM 等 NVIDIA 组件,并比较 Blackwell 与 Hopper 的训练/仿真成本。

对零售智能化,这是把「商家助手」拆成可替换的任务专家,而不是单模型通吃。数字均为 Shopify 工程博客自述。无推文配图;事实以工程博客为准。

flowchart TB
  M[商家请求] --> F[前沿模型:对话与规划]
  F --> S[子智能体:开源任务专家]
  S --> T[自托管 GPU 推理]
  P[生产失败样本] --> H[夜间自愈]
  H --> S

零售助手一旦接上店铺真实 API,token 结构会极度偏斜。把高只读上下文的子任务从前沿 API 挪到自托管专家模型,是少数能同时动成本与时延的杠杆。复现该路径时,关键不在复制模型名,而在是否建得起「评判器—自愈—后训练」的数据飞轮与 GPU 服务栈。

# Shopify# Sidekick# Nemotron# 开源模型# 零售智能化