微软已开源 ThinkingBox-Training 代码库。该项目旨在通过比对最终数据库状态与预期结果，评估并提升智能体在有状态业务工作流中的可靠性。
研究团队将这种可执行的终端状态检查转化为奖励信号，应用于 ThinkingBox-Bench 基准之外的训练任务。实验显示，经过 50 步 GRPO 微调后，Qwen3.8-27B 模型的平均成功率（pass@1）从 51.70% 提升至 60.78%；在 20 次尝试中全部正确的任务数量（Observed 20/20）从 38 个大幅增至 107 个，可靠性提升近三倍。
从“评分器”到“奖励函数”
ThinkingBox 的核心在于捕捉那些声称完成任务但实际留下错误数据库记录的智能体。其包含的 507 个基准任务为智能体提供真实后端和工具集，并通过检查数据库实际变化来判定成败。
研究发现，对于大多数任务，基于最终数据库状态的可执行检查可直接返回二元结果（1 或 0）。这不仅是一个评分机制，更可作为强化学习的奖励函数。关键在于筛选适合训练的任务：模型已完全掌握或完全无法解决的任务均无法提供有效梯度，只有那些“有时能解决”的任务才能提供具有对比性的学习信号。
为此，团队提出了“离线策略相对难度”概念。在训练前，利用基础策略对候选任务进行多次探测，估算成功概率，并仅保留中等难度的任务构建固定训练池。这种方法避免了在训练过程中重新探测难度带来的高昂计算成本。
可靠性与成本的权衡
微调后的模型呈现出“锐化”现象：可重复的成功率显著上升，而“至少一次”覆盖率（pass@20）略有下降。这表明模型的概率分布向更稳定的轨迹集中，牺牲了部分探索性以换取一致性。
在成本方面，每个可靠任务（即 20 次尝试全部通过）的成本从 24.36 美元降至 8.00 美元，降幅达 67.2%。这一水平已接近 GPT-5.4（6.80 美元）、GPT-6 Astra（7.45 美元）和 Claude Opus 5.5（7.80 美元）等前沿模型。尽管单次尝试成本略高于部分竞品，但其在高可靠性场景下的性价比极具竞争力。
训练栈与未来展望
ThinkingBox-Training 已在 GitHub 上发布，支持 Linux 和 WSL 环境。训练流程包括数据准备、离线难度筛选、Rollout 执行及 GRPO 更新。团队强调，训练和评估必须使用相同的解释代码，以确保奖励信号与被评估智能体的行为一致。
对于致力于提升智能体可靠性的开发者，团队建议：
- 训练前进行难度探测：分析基础策略在任务集上的表现分布，避免数据倾斜。
- 验证解析一致性：确保训练和评估阶段对模型输出的工具调用和参数提取完全一致。
- 全面报告指标：同时披露 pass@k 和 Observed k/k 数据，以反映模型的真实稳定性。
目前，ThinkingBox 代码采用 MIT 许可证，基准数据采用 CDLA-Permissive-2.0 许可证。所有基准任务均为基于真实企业模式合成的重建数据，不涉及真实客户信息。