智能体记忆需要“按模型剂量”校准:IBM 研究显示三种模式
IBM Research 在 Hugging Face 博客发布研究,基于 AppWorld(585 个多步任务、9 个模拟应用)测试 8 个模型,对比无记忆、全量注入和按任务检索三种配置。结论是:智能体记忆是一份需要按模型能力校准的“剂量”,并非装上就生效的功能;强模型适合全量指南,较弱模型适合紧凑核心加检索,已饱和的模型没有可测收益。
研究结论
IBM Research 于 2026 年 8 月 18 日发布文章,讨论在智能体中注入多少“记忆”才合适。这里的记忆是指从智能体自身历史轨迹中蒸馏出的行为指南(有效策略、需避免的错误、边界情况),并非重放旧对话;整个学习过程不更新模型权重,只改变推理时可用的指导内容。
实验在 AppWorld 上进行,共 585 个多步任务(168 个 test_normal、417 个 test_challenge),覆盖 9 个模拟应用。指南只从训练集挖掘,在测试集上对比三种配置:无记忆基线、每一步都注入全部指南、固定高置信度核心加按任务检索的少量指南。
三种模式
- 强模型且仍有提升空间:适合全量指南。DeepSeek-V3.2 的任务完成率(TGC)从 79.8% 升至 89.3%,场景完成率(SGC)从 64.3% 升至 80.4%。
- 较弱模型:需要紧凑核心加按任务检索。gpt-oss-120b 的 TGC 从 39.9% 升至 56.0%(+16.1 个百分点),SGC 也从 21.4% 升至 37.5%。
- 已饱和模型:GLM-5 在两种配置下 TGC 与 SGC 均无变化,文章称此现象为“饱和”,但未证明具体成因。
成本观察
指南每一步都会重新发送,全量注入会抬高输入 token:DeepSeek-V3.2 每任务从 148K 增至 263K(+78%),gpt-oss-120b 全量从 110K 增至 166K(+51%);而 gpt-oss-120b 用检索方案仅从 110K 增至 116K(+5%),同时取得上述精度提升。DeepSeek 的 ReAct 步数基本不变(约 18 至 19 步),增加的成本来自输入膨胀,而非轨迹变长。文章建议通过提示缓存稳定共享前缀来降低实际开销。
边界与后续
哪些因素决定模型落入哪种模式仍不清楚,参数量并非唯一因素,上下文窗口大小等影响尚未做隔离实验。当前检索按余弦相似度排序,作者认为其不能完全预测哪些指南对任务有帮助,下一步是训练基于结果信号的选择器;此外还需研究能力很低的模型(自蒸馏缺乏信号)以及 AppWorld 之外的基准。上述结果均仅在该单一基准上验证。
来源与核对说明
- Hugging Face 官方博客 ↗https://huggingface.co/blog/ibm-research/altk-evolve-hmm
本文经 AI 整理及独立自动校对,未做运行验证;自动校对仍可能遗漏问题,请以原始资料为准。
这篇内容对你有帮助吗?
点赞人数由服务器记录,收藏保存在当前浏览器。