ThinkingBox：以终端数据库状态而非工具调用评判 AI 智能体

核心观察：工具调用不等于任务结果

ThinkingBox 由微软 Copilot Studio 团队与 Hugging Face 等合作推出，现已通过 Hugging Face 提供。它的出发点是一个常见错位：智能体能规范地调用工具、给出看似正确的最终回复，却把错误的值写入记录或漏掉必需的状态变更。因此评测不只看对话和工具调用，而是检查每次运行结束时后端的终端状态与副作用。

文中示例：客服智能体处理一起物流异常订单，调用了九次工具、正确判断客户不符合延误补偿条件，却把工单状态置为已解决，而要求的终态应是挂起等待处理。做工具调用检查或“是否写库”检查都可能放过这次运行，只有数据库状态检查会发现不一致。

评测方法

• 507 个有状态业务流程，涉及零售、车险、旅行、数字银行、咨询五类领域。
• 每个任务在全新初始化的隔离 MCP 会话中独立运行 20 次，两次运行不共享数据行或缓存工具状态。
• 任务定义包含起始后端状态、用户目标、可用 MCP 工具、领域政策和终端状态的可执行检查；模拟用户持有私有信息，被问到时才提供。
• 477 个任务仅按状态判定，30 个另加回复评分规则。金标准状态、断言和凭据保留在评测方一侧。
• 报告三个指标：pass@1（单次尝试成功率）、pass@20（20 次中至少成功一次的任务占比）、observed 20/20（20 次全部通过的任务数，不做估计或平滑）。

主要结果

在一次覆盖 12 个模型、121,680 个有效试验的消融中，79,853 次尝试未通过可执行检查；其中 67.24% 仍然干净结束、调用了改状态工具且未报告最终工具错误，但这些失败里 77.61% 存在字段值错误，43.30% 有非预期额外副作用，25.36% 缺少必需副作用（这些比例有重叠）。

pass@1 排名中，Claude Opus 5.5 以 67.16% 居首，Claude Opus 5 为 66.50%，GPT-5.4 为 65.36%；开源权重模型中 Kimi-K3 最强，为 57.37%。领域差异显著，例如 Claude Opus 4.6 在零售为 68.62%，在车险仅 8.30%。

稳定性与广度并不一致：Kimi-K3 至少成功一次的任务最多（476/507），但 20 次全过的只有 68 个（13.41%）；Claude Opus 5 至少成功一次的比例更低，却有 47.53% 的任务 20 次全过。Claude Opus 5.5 与 Opus 5 的 20/20 任务数相同，均为 241。

成本视角

作者用 OpenRouter 未打折标价估算每次成功尝试的成本与每个“可靠任务”的成本（20 轮总成本 ÷ 20 次全过任务数）。按此口径，GPT-5.4 每个可靠任务 6.80 美元最低，GPT-6 Astra 为 7.45 美元，Claude Opus 5.5 为 7.80 美元；单次成功成本最低的 GPT-5.6 Sol 在可靠任务口径下升至 9.76 美元。文中强调这是比较性效率指标，不是实际云账单或生产单请求价格。

失败模式与限制

失败诊断的未加权平均中，约 79.9% 归为工具使用问题，10.3% 为错误状态更新，7.0% 为用户诉求未真正解决，2.9% 为未执行改状态操作。作者据此认为，许多问题更像重试与错误恢复问题，而非推理能力问题；但文中也说明这些是可观察标签，不是唯一因果解释。作者提出的改进做法（提交前检查终端状态、对工具错误分类、收缩工具面、不可逆变更需人工审批）并未在本基准上测过提升幅度。

公开基准中的任务均为合成重建，工作流和政策仿照真实企业模式，客户并非真实。

运行方式

官方提供 OpenEnv 接口的环境和基准数据，每次完成的 episode 返回二元通过/失败奖励。已测试环境为 Linux 与 WSL，需 Python 3.11+、uv 和 Docker；还需固定版本的数据仓库，以及供智能体、模拟用户和裁判使用的模型端点（可共用一个端点）。OpenEnv 镜像只启动 OpenEnv API，其余组件需自行运行。运行流程包括启动 Typesense、启动 Session Proxy 与 MCP 服务器、启动 OpenEnv 服务器、通过 /ready 检查就绪，再用 thinkingbox-eval 对单任务评分；运行受固定框架提交、数据发布版本与包哈希约束。操作失败会写入错误旁文件以便重跑，正式结果需说明如何处理这些尝试，作者将系统错误计为失败试验。