软件研发智能化
ThinkingBox-Training:用数据库终态当奖励,Qwen3.8-27B 可重复成功率接近翻倍
微软与 Hugging Face 开源 ThinkingBox-Training:以可执行库表终态为奖励做 GRPO;Qwen3.8-27B 在 ThinkingBox-Bench 上 pass@1 从 51.70% 到 60.78%,20/20 全过题从 38 到 107。
微软与 Hugging Face 联合博文介绍 ThinkingBox-Training:把原先用于评测智能体是否「说完事但库表不对」的可执行终态检查,转成强化学习奖励,并开源训练栈。
结果(Qwen3.8-27B)
在 ThinkingBox-Bench(507 题、每题 20 次)上,经约 50 步 GRPO 后:平均成功率(pass@1)从 51.70% 升至 60.78%;「20 次全过」的题目从 38 增至 107。pass@20(至少成功一次)略降。作者强调:模型变得更可重复,而不是更宽覆盖。训练池与公开基准不相交;基准域、库与多数 MCP 工具在训练中未见。
方法要点
候选任务先对基座策略做离线探测,按策略相对难度筛掉「总失败或总成功」题,保留能产生混合奖励对比的题(最终示例池 187 题)。回合奖励主要来自终态数据库的确定性检查,少数窄规则可调用裁判模型。参考跑法提到多卡 H100、token-mean GRPO 等,细节以仓库文档为准。
为何相关
对软件研发智能化来说,这把「智能体碰业务库表」的可靠度,从口头宣称推进到可复现的奖励信号与评测协议。代码在 microsoft/thinkingbox-training(配合 ThinkingBox 与 thinkingbox-data),基准数据许可为 CDLA-Permissive-2.0。
flowchart TB
P[基座策略离线探测] --> S[按难度保留训练题]
S --> R[完整回合 rollout]
R --> G[终态库表检查]
G --> U[GRPO 更新]
U --> E[密封基准评估]
读者对照公开基准时,应同时查看训练配置与许可条款,避免把单次跑分直接外推到生产库表场景。