Kolab：面向长周期工作流的人机协作基准

用途与变化

这是 arXiv 上的一篇新预印本（来源标注为 2026-10-16，未经同行评审），提出名为 Kolab 的数据集与基准，用于衡量人类与 AI 智能体在长周期真实工作流中的协作表现。数据包含 115 小时以上屏幕录制，覆盖 50 名来自 40 种职业的专业人士，以及与智能体协作完成现实长周期问题的过程，同时记录参与者对协作情况和产出质量的判断。

方法与观察

论文指出，多数智能体基准更侧重自动化能力，但在这类基准上的高分并不代表现实协作有效。作者把协作能力拆成两件事：一是预测专家在离开对话窗口后会采纳、修改还是拒绝智能体给出的贡献，并据此决定下一步；二是在缺少专家持续反馈时，仅从展开的工作流判断协作质量。基准据此设置了预测专业者如何使用智能体贡献、以及验证其对协作满意度和产出质量判断的任务。结果显示，前沿模型（无论是否以智能体形式运行）都会高估与专家的协作程度，且难以区分高质量与低质量协作；更长的流程上下文并未稳定改善这些预测。

限制与待核实事项

该结论来自预印本，尚未经同行评审与独立验证，不应视为定论。数据集的具体构建、评分口径和模型评测细节需查阅原文确认；样本规模、职业分布与录制环境对结论的外推范围也需进一步核实。