All-in-One Memory：面向记忆智能体的过程奖励强化学习

用途与变化

这是一篇 arXiv 预印本（arXiv:2610.21147v1，Announce Type: new），摘要指出现有记忆方法通常把检索与记忆构建分开优化，缺少能同时评估搜索、写入与停止决策的共享奖励空间。

为此提出 All-in-One Memory（AiO-Mem）：把这些操作组织为共享证据状态上的状态转移，并在统一奖励空间中直接评估每个动作的语义质量。具体做法包括：把异构历史编译成可溯源的多视图事件，作为检索与记忆写入的共同基底；由统一的记忆策略 actor 在共享证据状态上展开完整交互轨迹；单独训练一个以轨迹为条件的过程奖励模型，通过基于证据的监督微调与轨迹级 DPO 为轨迹打分；分数聚合成动作平衡的轨迹奖励，再由 Process-Aligned DAPO（PA-DAPO）优化记忆策略。摘要称在长上下文记忆基准上，AiO-Mem 相对静态记忆系统与经强化学习训练的记忆智能体均能稳定提升答案准确率。

适用场景

面向长时程历史问答的记忆智能体，例如多轮会话对话与长文档场景；对检索、记忆写入和停止时机需要一致评价标准的系统设计。

限制与待核实

本资料为预印本摘要，未经同行评审，论文结论尚未得到验证。摘要未给出具体基准名称、数据规模、对比基线细节与数值结果，也未说明代码或模型是否公开，这些均需查阅原文核实。