OmicsBench：面向长周期多轮生物信息学任务的 AI 智能体基准

用途与变化

来源为 arXiv 预印本摘要（arXiv:2610.21074v1，2026-10-16 发布，未经同行评审）。作者指出，现有生物信息学智能体基准多采用单轮短任务、单次提示，难以反映实际中计算生物学家把大量分析委托给智能体的长周期、多轮会话。OmicsBench 因此把 97 个任务组织成有向无环图，每个任务由相互依赖的子任务构成，共 662 个子任务；每个子任务对应用户的一轮输入，并按答案键确定性评分，可选的上下文反馈用于向智能体指出错误。

评测结果

在 12 个模型、3 套 harness 上，最慢的智能体平均每个任务耗时约 3.6 小时；没有任何组合接近饱和。无上下文反馈时平均得分区间为 0.43–0.57（满分 1），有反馈时为 0.54–0.67。多轮评测还发现，依赖前序子任务的子任务得分更低，上下文反馈能挽回部分损失。由于确定性评分无法说明失败原因，作者另提出无监督失败模式发现流程，对失败尝试进行描述、嵌入与聚类，暴露出诸如擅自替换指定统计过滤方法、整段答案凭记忆生成等定性缺陷。

限制与待核实

上述分数、耗时与失败模式均为预印本中的报告结果，尚未经同行评审，也未在本摘要中给出独立复现验证；具体任务构成、评分细节与 harness 配置需查阅原文确认。