医疗流程 LLM 智能体升级可靠性审计基准：扰动受控的工作流状态失效评估

研究背景与用途

这是一篇 arXiv cs.AI 预印本摘要（来源标注发布时间为 2026-10-16），提出一个片段级评估协议，用于考察生物医学 LLM 智能体在证据缺失、过时、冲突或延迟时能否可靠选择动作，而不只关注静态输入上的答案准确率。

方法设计

评估集由 400 个合成医疗工作流片段构成：40 个手工编写的语义种子，覆盖 4 类任务，含 2 种表面参数化与 5 种受控变体。模型需在 ANSWER、ASK CLARIFICATION、ABSTAIN、ESCALATE 之间选择，并按预设的 5:1 漏升级与不必要升级成本比打分。参考动作来自单一作者依据研究策略给出的标签，并非临床医生裁定的真实基准。

主要发现

在五种开源权重配置（1.7B–9.7B）上，干净输入的决策准确率可达 0.97；但在不确定性提示下，模型漏掉 32%–97% 的必要升级。较强的 9.7B 配置缩小了差距但未消除，冲突情形下准确率从 0.97 降至 0.78。口头置信度表现不一致（ECE 0.10–0.54，失效 AUROC 0.48–0.77），仅基于置信度、在开发集上调优的策略没有带来效用增益。一个显式的工作流感知控制器在全部模型上改善了 5:1 效用，将漏升级率降至 0.12–0.24，特异度 0.83–0.93。

限制与待核实

该摘要明确说明：参考标签为单作者研究策略标签而非临床裁定真值；30 概念词汇压力测试显示各规则检测器召回率从触发短语上的 1.00 降到未见改写上的 0.00，因此控制器的结论仅限该基准。该预印本未经同行评审，结论尚未验证，实际部署效果需进一步独立评估。摘要提到打包了种子聚类统计、消融、跨任务迁移、原始输出与清单供审计，但此处无法核实其内容。