lm-evaluation-harness v0.4.13 发布：修复少样本泄漏并扩充基准

本次变化

据 EleutherAI 于 2026-08-31 发布的 v0.4.13 说明，此版本以修复为主：

• 少样本泄漏：采样器可能把待测文档抽入自身示例；gen_prefix 也按评测文档而非少样本文档解析，影响 RULER niah_single_1、humaneval_instruct 和 humaneval_64_instruct。
• 多选题正则过滤器的前缀遮蔽问题：短选项会匹配到较长选项内部，导致正确答案被判错。
• weight_by_size 为 false 时，分组标准误仍按样本量加权计算，误差条可能偏窄。
• minerva_math 答案归一化的多处修正，putnam_axiom 共用相关辅助函数。

新模型后端方面，加入原始 onnxruntime 和 onnxruntime-genai 后端，并适配 Megatron-LM v0.18。官方给出可选安装 extras 以及非 CPU 执行提供程序需换装对应 wheel 的提示，但未验证实际运行。

新增任务包括 LongProc、Uncheatable Eval、TyDiQA Gold Passage、LegalBench 子集与合同 NLI、IndicParam、IndicXNLI 古吉拉特语、GreekMMLU、Physics GRE、Putnam Axiom、葡萄牙语与加泰罗尼亚语基准等；多数配置更新为适配 datasets>=4。

适用场景

适合使用该框架复现或比较评测分数的研究者；对曾报告 RULER、HumanEval 相关任务、minerva_math 或分组指标的用户，旧结果可能与新版不可直接比较，需按迁移说明检查。

限制与待核实

来源为发布说明摘要，未提供完整变更验证；安装命令与实际兼容性未测试。发布说明中的时间仅代表其发布时间。