理应资讯
软件研发智能化

SageMaker AI 多轮强化学习 MTRL:用 Wordle 演示按整段任务结果训练智能体,约 339 美元训练 token

理应编辑室 ·

Amazon SageMaker AI 新增 Multi-Turn Reinforcement Learning(MTRL):按整段多步任务最终结果给奖励,经 Bedrock AgentCore 托管智能体与环境。示例把 gpt-oss-20b 在 Wordle 上的求解率从约 61% 提到约 84%。

多数微调教模型对单条提示给出更好答案;而报销填报、工单分诊等智能体任务是一连串动作,中间很少有唯一正确轨迹,可靠信号往往是整段是否成功。监督微调缺少这类标签,单轮 RL 也难以把奖励信用分配到数步之前的决策。

Multi-Turn Reinforcement Learning(MTRL)在 Amazon SageMaker AI 上按整段结果训练:训练服务把提示发给你托管在 Amazon Bedrock AgentCore(或自建 EKS/EC2/Fargate,经 Lambda 转发)上的智能体;智能体调用正在训练的策略模型,在环境中多轮行动,回合结束回报一个奖励。你不必指定正确轨迹,只需定义如何打分。

博客以 Wordle 为教学任务(六次猜五字母单词),用 AgentCore 托管环境与奖励,SageMaker 侧用 GRPO 更新策略模型的 LoRA。一次约 100 步运行消耗约 12 小时 40 分钟、约 10.5 万次 rollout;按文中 us-east-1 列表价,训练相关 token 费用约 339 美元,AgentCore 运行时另约 79 美元。在中等推理力度、温度 1.0 的服务设置下,训练后模型在留出词上求解率约 84%(基座约 61%);训练任务自身验证曲线因温度 0 会低估表现,作者强调按实际上线解码设置评估。

当前支持的基座包括 Amazon Nova 2 Lite、GPT-OSS-20B、Gemma 4 31B、Qwen 3.6 27B(区域因模型而异)。奖励设计需避免“失败局仍得正分”或“慢解高于快解”等倒置;文中采用结果主导 + 有界塑造项。示例代码见 aws-samples 仓库,数据与模型留在客户账户。

对企业内部流程而言,同一管线可用于公开模型从未见过的多步业务任务:把环境、工具与结果评分放进 AgentCore,用 MTRL 拉高小模型在特定工作流上的成功率。

# SageMaker# MTRL# 强化学习# AgentCore# 智能体训练