提交智能体收藏0
技术动态

智能体记忆需要“按模型剂量”校准:IBM 研究显示三种模式

IBM Research 在 Hugging Face 博客发布研究,基于 AppWorld(585 个多步任务、9 个模拟应用)测试 8 个模型,对比无记忆、全量注入和按任务检索三种配置。结论是:智能体记忆是一份需要按模型能力校准的“剂量”,并非装上就生效的功能;强模型适合全量指南,较弱模型适合紧凑核心加检索,已饱和的模型没有可测收益。

研究结论

IBM Research 于 2026 年 8 月 18 日发布文章,讨论在智能体中注入多少“记忆”才合适。这里的记忆是指从智能体自身历史轨迹中蒸馏出的行为指南(有效策略、需避免的错误、边界情况),并非重放旧对话;整个学习过程不更新模型权重,只改变推理时可用的指导内容。

实验在 AppWorld 上进行,共 585 个多步任务(168 个 test_normal、417 个 test_challenge),覆盖 9 个模拟应用。指南只从训练集挖掘,在测试集上对比三种配置:无记忆基线、每一步都注入全部指南、固定高置信度核心加按任务检索的少量指南。

三种模式

  • 强模型且仍有提升空间:适合全量指南。DeepSeek-V3.2 的任务完成率(TGC)从 79.8% 升至 89.3%,场景完成率(SGC)从 64.3% 升至 80.4%。
  • 较弱模型:需要紧凑核心加按任务检索。gpt-oss-120b 的 TGC 从 39.9% 升至 56.0%(+16.1 个百分点),SGC 也从 21.4% 升至 37.5%。
  • 已饱和模型:GLM-5 在两种配置下 TGC 与 SGC 均无变化,文章称此现象为“饱和”,但未证明具体成因。

成本观察

指南每一步都会重新发送,全量注入会抬高输入 token:DeepSeek-V3.2 每任务从 148K 增至 263K(+78%),gpt-oss-120b 全量从 110K 增至 166K(+51%);而 gpt-oss-120b 用检索方案仅从 110K 增至 116K(+5%),同时取得上述精度提升。DeepSeek 的 ReAct 步数基本不变(约 18 至 19 步),增加的成本来自输入膨胀,而非轨迹变长。文章建议通过提示缓存稳定共享前缀来降低实际开销。

边界与后续

哪些因素决定模型落入哪种模式仍不清楚,参数量并非唯一因素,上下文窗口大小等影响尚未做隔离实验。当前检索按余弦相似度排序,作者认为其不能完全预测哪些指南对任务有帮助,下一步是训练基于结果信号的选择器;此外还需研究能力很低的模型(自蒸馏缺乏信号)以及 AppWorld 之外的基准。上述结果均仅在该单一基准上验证。

来源与核对说明

  1. Hugging Face 官方博客 ↗https://huggingface.co/blog/ibm-research/altk-evolve-hmm

本文经 AI 整理及独立自动校对,未做运行验证;自动校对仍可能遗漏问题,请以原始资料为准。

这篇内容对你有帮助吗?

点赞人数由服务器记录,收藏保存在当前浏览器。

继续阅读

IBM 对比 ALTK-Evolve 与 ACE:同样的智能体经验,不同的投喂方式决定 token 成本 →

funes:为编码智能体提供可自托管的持久记忆层 →

MemComposer:用强化学习为 LLM 智能体组装记忆 →