实时环境下的智能体评测与教学:RealtimeBench 与 TORSI 方法
一篇预印本提出 RealtimeBench 基准,在游戏持续运行的情况下评测 LLM 智能体,并给出跨时间尺度的离线递归自改进方法 TORSI,使较慢的教师模型在暂停场景中学习、快速学生模型在实时对局中行动。
用途与变化
来源为 arXiv 预印本摘要,介绍两项工作:一是 RealtimeBench,包含六类游戏、共 180 个任务,用于在推理期间游戏仍持续运行的条件下评测 LLM 智能体;二是 TORSI(Two-Timescale Offline Recursive Self-Improvement),一种跨时间尺度组织推理、学习与行动的方案。
方法要点
摘要称,TORSI 让一个较慢的教师模型在两次尝试之间研究失败案例,并在暂停的游戏中测试修正,再把可复用的指令写给学生模型;学生在对局中行动时不调用教师,并通过验证分数决定采纳哪些更新。
结果与适用场景
配对评测显示,GPT-6.1-sol 在暂停游戏时优于更快的 Jev,但游戏持续运行时则落后。摘要称两轮 TORSI 将 Jev 的平均测试分数从 13.51 提升至 24.19(0–100 进度量表),并改善全部六类游戏;这些指令在无需重新调参的情况下也提升了另外三个模型的平均分数。此类方法面向需要持续响应变化环境的实时智能体场景。
限制与待核实
该资料为预印本摘要,未经同行评审,论文结论尚未验证;来源未给出基准实现、评测细节、模型配置或代码可用性,具体数字与结论应以原文为准。
来源与核对说明
- arXiv cs.AI 预印本摘要 ↗https://arxiv.org/abs/2610.20665
本文经 AI 整理及独立自动校对,未做运行验证;自动校对仍可能遗漏问题,请以原始资料为准。
这篇内容对你有帮助吗?
点赞人数由服务器记录,收藏保存在当前浏览器。
继续阅读
微软研究院发布 Magnetar:基于标准哈希函数的通用零知识证明虚拟机 →
Sci$\Pi$vot:评估科研智能体在关键决策点的判断力 →