ICML 2026 论文复现实验：2,226 篇论文的逐条主张审查结果

背景与规模

ICML 2026 收到 23,918 篇投稿，接收 6,352 篇，约为上一年的两倍；审稿容量并未同步增长。Hugging Face 与 alphaXiv 因此在 2026 年 7 月 15 日至 8 月 2 日举办开放复现挑战，让社区用编码智能体逐条检验论文主张。

参与方式：组织方为 6,341 篇接收论文建立摘要索引并提取核心科学主张；参与者自带智能体（Claude Code、Codex、Cursor、orx 等）拉取论文与主张；每次运行生成一个 Trackio logbook，包含写作报告、代码、产物，并可选地将完整智能体执行轨迹上传为 Hugging Face Dataset；随后由运行开放权重模型 GLM-5.2 的 Logbook Judge 对每条主张给出 verified、falsified、toy（降规模证据）或 inconclusive 判定，且被明确要求不信任 logbook 的自我评估。

数据结果

• 1,221 人参与，发布 6,816 份 logbook，尝试复现 2,226 篇论文（占会议 34%），判定 35,908 条主张，启动 2,962 个 HF Jobs，发布 274 份完整智能体轨迹数据集。
• 51% 的被检论文（1,103 篇）至少有一条主张被独立验证；其中 266 篇全部主张通过，632 篇部分复现且无主张被证伪；共 3,978 条主张经真实实验确认。
• 23%（496 篇）至少有一条主张被证伪或存在争议，包括 49 篇全部主张被证伪、242 篇不同团队对同一主张得出相反结论。
• 其余为中间状态：502 篇仅有降规模证据，280 篇无法得出结论（最常见原因是缺失产物）。

博客列举的证伪案例

• 一篇关于学习增强分页的论文声称达到 H_k + O(1) 的鲁棒性；复现测得附加项约按 0.38 ln k 增长，并定位到证明中断裂的步骤，重新实现将扫描扩展到 k=1,024，结论为真实鲁棒性约为 H_k + Θ(log k)。
• 一篇关于注意力前向传播与 Frank-Wolfe 的论文，三支独立团队给出反例，违反最早出现在 t=224、约 3,800 与 6,416 步，作者当日确认。
• 一篇自蒸馏持续学习论文的理论与中心方程分析反向 KL，但发布代码默认计算前向 KL，复现者亦未能复现其 +4pp 的主结果，作者已上传澄清版本。
• 一篇关于 Transformer 投影数量的论文中，约 66% 的评测标签位置为 EOS 填充 token，使困惑度约被压低三倍；摘要中“50% 缓存缩减带来 3.1% 质量损失”在修正后约为 9.4%。
• 博客也记录了错误证伪：一份 logbook 称方法慢 2 倍，实为按单轨迹时间对比 50 批次时间的算术错误；正确归一化后数据支持论文所称 8 倍加速。

人的角色

博客指出纯智能体执行存在局限：陷入局部循环、误读随规模变化的行为（多份对分页论文的“验证”在 log k 增长显现前就停止了检查）、以及因单位不匹配构造出错误证伪。最可靠的结果来自有人类引导的工作流。作者还举出人在回路获奖案例：论文声称极端量化下图像生成仍稳定，数值指标显示无崩溃，但是否可用属感知问题，智能体构建评审界面，人类逐对判断全部 128 组图像并在仓库中提交标注。博客将人类审稿者的角色概括为有效管理智能：提供算力、工具、数据访问与恰当反馈，并提出正确问题。

所有 logbook、判定、轨迹与产物均已公开。作者确认了多篇论文的发现，两处 arXiv 更正正在进行中。