StepSafe：面向智能体安全的步骤级及时干预训练框架

用途与变化

该预印本关注智能体（agentic）系统中的安全性问题：一个动作是否安全取决于此前的动作、工具输出、信息披露以及智能体之间的交互，因此安全判断本质上是序列化的。作者指出，近期工作已从轨迹级的事后评估转向步骤级动作诊断与主动风险预测，但现有训练目标对“步骤证据如何随时间累积、何时足以支持干预”的监督仍然有限。

为此论文提出 ASPO 训练框架，用于步骤级的及时干预：

• 前缀级阶段对齐：将同一前缀下采样的多个回复相互比较，奖励与当前阶段相符的动作，即在风险尚不可见时继续、在澄清仍可避免伤害时询问、在伤害不可逆前停止。
• 自适应反馈自蒸馏：模型自身充当教师，在干预步骤上看到步骤标注，在安全步骤上使用从自身误报中挖掘的规则，以此对每个决策背后的推理给予信用。
• 数据构建：每个步骤的训练数据带有违规分类体系（violation taxonomy）与干预窗口，并通过自演化多智能体红队测试扩展。

论文同时给出 StepSafe，一个具有及时干预能力的步骤级推理护栏，在五个智能体安全基准上报告了开源护栏中的最佳表现，Youden's J 为 53.0（4B 规模），对比基线为 46.2。

适用场景

该方法面向需要在执行过程中实时判断是否继续、询问或中止的智能体系统，适用于工具调用、信息访问和多智能体交互中的分步风险控制。

限制与待核实

• 本文为 arXiv 预印本，未经同行评审，论文结论尚未经过独立验证。
• 摘要未提供基准名称细节、模型规模以外的训练成本、数据来源与复现条件，相关效果需查阅原文确认。
• 文中所述“最佳表现”为作者在特定基准与指标下的报告结果，不宜直接外推到其他场景。

（来源时间：2026-10-16）