BenchMIRT：用多维项目反应理论拆解 LLM 基准测试到底在测什么

Ai2 于 2026 年 9 月 1 日发布 BenchMIRT，一种在单题层面分析 LLM 基准测试的方法，配套技术报告、数据与代码。

问题背景

基准通常被设计用来测某一项能力，如安全、通用推理或指令遵循，但其中单道题往往依赖不止一种能力。例如 BBQ 中祖孙叫 Uber 的题目既涉及年龄偏见，也要求模型追踪人物关系并从给定证据推理。WildJailbreak 则同时包含有害的越狱提示和用于检测过度拒答的良性提示，把两类题平均成一个分数会掩盖差异。

方法

BenchMIRT 借鉴心理测量学的项目反应理论（IRT），从测试反应的模式推断能力。它在模型和题目两个层面应用 IRT：对模型估计其在所选基准反映的各项能力上的强弱；对每道题估计难度，以及该题区分强模型与弱模型的程度。相比此前单维 IRT 的尝试，BenchMIRT 采用多维 IRT（MIRT），可分离影响同一批题目的多种能力。

训练数据为 100 个 LLM 在 16 个基准、逾 3.4 万道题上的结果：6 个通用推理基准（含 MMLU-Pro、GPQA、MATH、BBH），10 个来自 Olmo 3 安全套件（含 HarmBench、StrongReject、WildJailbreak、BBQ、WMDP、XSTest）。研究未告知模型各基准对应何种能力，BenchMIRT 自行恢复出安全与通用推理两个主导维度，重复分析结果一致。

发现

多数基准的结果符合设计意图，但部分评测呈现更复杂的信号：

• BBQ 虽常被归入安全基准，其表现与通用推理关联更强，低分可能部分源于理解或推理题目困难。
• WMDP 测试生物、化学、网络安全等领域的危险双重用途知识，得分与通用推理关联更强；但由于拒答或被计为期望回答，通用推理越强反而得分越低。
• HarmBench 的标准题与情境题均更贴近安全维度，而版权类题目（如要求生成歌词）更贴近通用推理。

作者强调，这不意味着这些基准有缺陷，而是说明单一分数可能混合了多种信号。

效率与预测

按题目层面的估计筛选最具区分度的题目、同时保留难易搭配后，仅保留 10% 的题通常能维持模型强弱排序的近似图景，保留 50% 时往往更贴近全量基准的能力测量。BenchMIRT 还可预测模型在未观测题目上的表现，在实验中预测留出题是否答对的准确率为 79%，而「按基准整体得分推断每题」的简单方法为 70%。

限制

• 训练与评估所用模型均发布于 2025 年 3 月之前，未覆盖更新一代模型。
• 发现的维度取决于所给基准集合，换一组评测可能浮现不同能力。
• 若目标是对随机留出题排序模型，基准平均分略优于 BenchMIRT；后者优势在于提供更细的题目级图景。
• 题目级信息可能被反向利用：识别出的高信息量安全题也可被删除，从而产出更弱、不安全模型也能通过的评测。

原文将 BenchMIRT 定位为迈向更有针对性、更高效的基准设计的探索。