UK AISI 借助 EvalEval 基础设施公开基准评测结果

据 Hugging Face 官方博客 2026 年 9 月 22 日发布的内容，英国 AI 安全研究所（AISI）正在使用 EvalEval 联盟的基础设施公开分享评测结果。双方此前在 NeurIPS 2025 期间合办工作坊，AISI 的反馈也影响了 Every Eval Ever（EEE）模式的制定；此次合作将该共享基础设施投入实际使用。

公开内容 AISI 通过 Evaluation Cards 公开其已公开发表的评测方法与发现，在适当范围内包含经过验证的结果、上下文和配置信息，覆盖论文主实验中的五个基准：HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro 和 Terminal-Bench 2.0。结果涉及六个前沿模型：Claude Opus 4、Claude Opus 4.5、Claude Opus 4.6、GPT-5、GPT-5.2 和 GPT-5.4。此外还包含两项网络评测 Cyber CTFs 与 The Last Ones 的结果，这两项使用了不同的、部分重叠的模型集合。

这些数据配合 AISI 的论文《How Inference Compute Shapes Frontier LLM Evaluation》，研究基准表现如何依赖推理时算力与评测协议。附图中 Humanity's Last Exam 的曲线按每个任务最早一次成功统计给定 token 数内的累计解决比例；当模型在每次尝试后获得 oracle 的正确性反馈时，随 token 用量增加会继续解决更多任务。

为何重要 评测结果分散在不同格式与平台，常缺少复现所需信息，重跑评测本身也可能成本过高。EEE 提供共享报告模式，Evaluation Cards 将基准元数据、评测运行数据与模型元数据整合为可解读记录，帮助判断表面相近的分数是否产生于实质不同的条件。文章同时列出了模型开发者、评测开发者与研究人员可参与的贡献方式。

需要说明的是，该内容为机构合作的发布信息，未涉及具体测试结果的数值；来源未提供部署步骤，相关限制以原文为准。