IBM 对比 ALTK-Evolve 与 ACE:同样的智能体经验,不同的投喂方式决定 token 成本
IBM Research 在 Hugging Face 博客发文,比较 ALTK-Evolve 与 ACE 两种智能体记忆方案。两者都不压缩智能体从自身轨迹中总结的经验,但 ALTK-Evolve 按任务挑选要投喂的指南,ACE 则每步注入完整 playbook。在 AppWorld 的 168 个任务上,ALTK-Evolve 在 DeepSeek-V3.2 上以约 40% 的推理 token 取得更高 TGC 与 SGC;在 gpt-oss-120b 上以约七分之一 token 取得与 ACE 接近的准确率。
ALTK-Evolve 与 ACE:记忆构建方式相同,投喂方式不同
IBM Research 于 2026 年 8 月 11 日发布文章,比较 ALTK-Evolve 与 ACE(Agentic Context Engineering)两种智能体记忆方案。两者都无需更新权重、无需人工标注,只是把智能体过往轨迹转成可复用的经验,推理时再反馈给模型。作者把单条经验称为 lesson。
共同点:不压缩经验
ACE 指出两种失败模式:简洁偏置(优化趋向短而泛化的指令)与上下文坍缩(每步重写整个上下文导致细节丢失),因此保留逐条 playbook,并为每条打上有益与有害计数。ALTK-Evolve 从另一方向得出同一结论:每条指南保留支持计数,即由多少独立 episode 产生,不把存储汇总成少量规则。
差异:构建与投喂
- 构建:ACE 通过 Generator、Reflector、Curator 循环增长单一 playbook,做增量更新并按嵌入去重。ALTK-Evolve 对近似 lesson 聚类并在簇内合并,合并后保留合计支持计数;同时抽取策略、恢复、优化三类带类型的指南,附因果归因与来源轨迹,粒度到子任务,便于跨应用迁移。
- 投喂:ACE 每步注入完整 playbook,与模型和任务无关。ALTK-Evolve 把投喂当作可调参数:固定一小批高支持指南作核心,再按任务选少量指南(余弦相似度或 LLM 引导、按优先级加权),或在模型有余力时用完整集合。作者强调 token 差异主要来自这里。
实测(AppWorld test_normal,168 任务)
同一 ReAct 代码智能体,两者只差提示模板;记忆仅从 train/dev 挖掘;单次运行 pass@1。作者自行在同批基座上复跑 ACE。
| 模型 | 系统 | TGC / SGC | Tokens/task | |---|---|---|---| | DeepSeek-V3.2 | ACE | 80.4 / 73.2 | 634K | | DeepSeek-V3.2 | ALTK-Evolve | 89.3 / 80.4 | 263K | | gpt-oss-120b | ACE | 54.8 / 35.7 | 777K | | gpt-oss-120b | ALTK-Evolve | 56.0 / 37.5 | 116K |
作者称在强模型上以约 40% 的推理成本取得更好指标;在弱模型上 56.0 对 54.8 视为准确率持平,成本约为 ACE 的七分之一。按难度看,gpt-oss-120b 上 ACE 在 Easy/Medium 领先,ALTK-Evolve 在 Hard 领先并决定总体;DeepSeek-V3.2 上情况相反。作者说明 ACE 原论文用的基座是 DeepSeek-V3.1,故自行复跑以保证模型与 harness 一致;两者无记忆基线因模板不同而有差异(72.0 与 79.8 TGC),比较不依赖该差距。
两模型各用其最佳配置:强模型用完整集合,弱模型用选择性检索。注入量随能力如何缩放,作者称另文讨论。
来源与核对说明
- Hugging Face 官方博客 ↗https://huggingface.co/blog/ibm-research/altk-evolve-sldd
本文经 AI 整理及独立自动校对,未做运行验证;自动校对仍可能遗漏问题,请以原始资料为准。
这篇内容对你有帮助吗?
点赞人数由服务器记录,收藏保存在当前浏览器。