Probe-and-Resume：仅在终点调用批评者来评估智能体执行

用途与问题

该预印本关注测试时搜索（test-time search）在智能体执行中的效果。作者在终端式计算机使用环境里评估 Monte Carlo 树搜索（MCTS）配置，这类环境只能看到底层大状态的部分视图。结果发现该配置并未显著提升任务成功率。

主要发现

作者把批评者（critic）表现不佳归结为两个原因：

• 智能体的观测缺少评估所需的完整环境状态；
• 中间状态能提供的“该轨迹是否会成功”的证据有限。

在中间状态上，批评者排序续接动作的能力仅略高于随机，即便增加环境访问权限改善也不大。

提出的设计

据此，作者提出只应在智能体自认为到达终点的节点调用批评者，而不是在部分进展过程中调用。该策略给批评者一个当前状态与初始状态分叉的读、写、执行访问权限，使其能通过探测甚至破坏性动作暴露轨迹中未体现的隐藏状态。这一设计称为 Probe-and-Resume：智能体声称完成后，批评者探测其状态分叉；若被拒绝，智能体从停止处继续。

报告结果与限制

在 Terminal-Bench 2.1 上，该设计相比使用常规批评者的 MCTS 成功率提升 8.4 个百分点，并以不到一半的成本接近同底层模型的 Codex CLI 智能体成功率。需要说明的是，这是预印本摘要，未经同行评审，结论尚未得到独立验证；文中未给出具体配置细节、统计显著性或复现条件，实际效果仍需进一步核实。