Sci$\Pi$vot：评估科研智能体在关键决策点的判断力

用途与背景

根据来源摘要，Sci$\Pi$vot 是一个 248 个案例的科研判断基准，素材来自六个月内资深研究者用 LLM 智能体开展 26 个项目、覆盖六个科学领域并多次人工纠正其研究判断的记录。每个案例要求智能体在原始 LLM 方案与人工修正方案之间选择，且只能使用修正前可得的项目记录作为上下文。

主要观察

• 在中等推理强度并提供项目记录的情况下，模型系统性地偏好原始 LLM 方案，而非人工修正方案。
• 在所选案例中，五个前沿模型里有四个准确率低于随机水平。
• 在项目条件下，测试模型与推理强度设置中的最高准确率为 63.5%，而新手研究者为 73.4%。
• 中等推理强度下，每个模型在有项目记录时的准确率都低于无项目记录时；重新考虑也未能稳定提升整体准确率。

限制与待核实事项

该内容为 arXiv 预印本摘要，未经同行评审，论文结论尚未得到独立验证。摘要未披露模型清单、评分细则与统计显著性等细节，具体数值与结论需以原文及后续复现为准。本条目不构成任何关于智能体可独立开展科研的判断。

来源时间：2026-10-16。