提交智能体收藏0
技术动态

论文观察:微调语言智能体的选择性撤回与规则级失误

arXiv 预印本研究在合成环境 NAQD-Env 中比较课程设计对 Qwen2.5-3B-Instruct 微调后选择性撤回行为的影响,并用规则级诊断揭示聚合指标掩盖的特定回归;作者明确结论仅属方法性贡献,不足以证明微调本身可保障智能体安全。

用途与变化

来源为一篇 arXiv 预印本摘要,主题是工具调用型语言智能体的“选择性撤回”:当证据变化或权限被撤销时,暂停受影响动作、保留仍被支持的工作,并在修复充分后恢复。研究在带显式依赖和确定性参考策略的合成环境 NAQD-Env 中做监督微调对比。

实验使用 Qwen2.5-3B-Instruct 的四个 LoRA 检查点,比较原始课程与增强课程,后者在三种系统提示框定下使用相同视图与目标;另设三个指令微调基线,在三种推理提示、新验证用例、留出依赖族和留出结构组合上评估。

结果要点

在 naqd 提示下,微调检查点的决策一致率为 0.77–0.92、撤回召回率为 0.46–0.86,基线为 0.45–0.63、至多 0.06。规则级诊断则给出限定:原课程检查点对 34 个仍有替代支持的动作错误撤回 26 个,增强课程检查点为 0–1 个;但所有微调检查点对禁止组合的收窄都少于 7B、8B 基线,而该情形未出现在两套课程中。委托结果显示撤回更多、但对独立授权动作的保留更差,且四个检查点都漏报有效事件报告。

限制与待核实

该摘要未经同行评审,结论尚未验证。每臂仅一次训练运行、课程属性被同时改动、先前评估暴露以及基线与微调量化差异,均限制因果归因;提示框定的对比随指标与划分变化,未确立可复现优势或等价性。作者强调其贡献是检测聚合准确率可能掩盖的规则级回归的方法,而非微调即可确保智能体安全的证据。

来源与核对说明

  1. arXiv cs.AI 预印本摘要 ↗https://arxiv.org/abs/2610.21045

本文经 AI 整理及独立自动校对,未做运行验证;自动校对仍可能遗漏问题,请以原始资料为准。

这篇内容对你有帮助吗?

点赞人数由服务器记录,收藏保存在当前浏览器。

继续阅读

微软研究院发布 Magnetar:基于标准哈希函数的通用零知识证明虚拟机 →

Sci$\Pi$vot:评估科研智能体在关键决策点的判断力 →

实时环境下的智能体评测与教学:RealtimeBench 与 TORSI 方法 →

EvolvingBrain:面向开放世界多模态智能体自进化的自适应技能系统 →