理应资讯
软件研发智能化

Toloka:只用非编程数据做强化学习,Qwen3.5-27B 的终端编程基准仍提升 5.8 个百分点

理应编辑室 ·

Toloka 用客服、差旅、HR 等企业工具使用任务对 Qwen3.5-27B 做了 1 个 epoch 的强化学习,没有任何编程数据,Terminal-Bench 2.1 成绩却从 39.8% 升至 45.7%。

AI 数据公司 Toloka 10 月 21 日在 X 上分享了一项训练实验:他们在完全不使用编程数据的情况下训练模型,模型的编程基准分数却提高了。

具体做法是,用客服、差旅、HR 等非编程的企业工具使用场景,对 Qwen3.5-27B 进行 1 个 epoch 的强化学习(RL)。训练后,该模型在 Terminal-Bench 2.1 上的成绩从 39.8% 升至 45.7%,提升 5.8 个百分点(95% 置信区间为 +1.6 至 +10.2)。

稳定性上的提升更明显:

  • 3 次尝试全部通过的任务占比从 24.8% 升至 33.3%(+8.5 个百分点);
  • 在 21 个“时好时坏”的任务(基础模型 5 次中能解出 3–4 次)中,训练后的模型有 9 个达到 100% 通过率。

Toloka 给出的解释是,模型学会了一个行为习惯:先检查,再行动。RL 训练前,模型在第一次执行写操作之前查阅知识库的比例是 49.6%;训练后升至 81.5%。这种先核实上下文的习惯,直接迁移到了终端操作类的工作流中。

非编程工具使用 RL 训练后的跨领域提升(百分点) 非编程工具使用 RL 训练后的跨领域提升(百分点) 留出企业环境 +44.0 AutomationBench Ops +9.6 τ³ 零售 +8.9 Terminal-Bench 2.1 +5.8 Toolathlon +4.3 数据:Toloka 在 X 上的帖文;模型 Qwen3.5-27B,RL 训练 1 个 epoch

Toloka 列出的跨领域迁移结果包括:留出的企业环境 +44.0 个百分点、AutomationBench Ops +9.6、τ³ 零售 +8.9、Terminal-Bench 2.1 +5.8、Toolathlon +4.3。训练成本为 1 个 epoch、72 步,LLM 评审费用约 26 美元。

对研发团队而言,这个结果的启发在于:编程智能体的可靠性不只取决于见过多少代码,也取决于“动手前先确认环境和上下文”这类通用工作习惯。不过,这是 Toloka 单方面公布的实验结果,只涉及一个模型,置信区间也较宽,能否在其他模型和真实代码库中复现,还需要更多独立验证。

# Toloka# 强化学习# Terminal-Bench# Qwen# AI 编程智能体