基准饱和后如何从解答记录评估模型能力

研究背景与用途

当多个模型在同一基准上接近满分时，该基准的分数就不再能区分模型，也难以支撑安全论证与前沿政策判断。这篇 arXiv 预印本（编号 2610.20667，2026 年 10 月发布）关注的问题是：基准题目其实产生了比分数更多的信息，即每个模型解题的完整记录（transcript），这些记录在分数饱和后是否仍能反映能力差异。

方法与发现

作者用历史基准与模型版本回溯模拟“已经饱和”的情形，只使用饱和基准中正确解答的记录，去预测在未饱和的留出题目上测得的能力。比较了成对评判、单条记录绝对打分，以及基于确定性记录特征或嵌入的预测等做法。结果显示：

• 饱和后的解答记录仍保留超出基准准确率的能力信息；
• 成对评判表现最好，预测误差比仅用饱和基准分数的基线低约 5.3 倍；
• 这些信息分散在记录的多个部分，但相对集中在推理与工具调用等特定通道；
• 预测能力并不总能跨分布偏移泛化，例如会低估 2025 年初首批推理模型的能力。

限制与待核实事项

该内容为预印本摘要，未经同行评审，论文结论尚未验证。摘要未给出具体基准、模型清单、评测规模与实现细节，也未说明这些协议在真实生产评估中的成本与稳定性。实际采用前需等待更完整的实验信息与独立复现。