AlphaDiana：面向可验证推理任务的智能体测量系统

用途与设计

该预印本（未经同行评审，结论尚未验证）提出 AlphaDiana，一个用于测量智能体的系统。智能体通常由推理模型与外层框架组成，框架负责组织模型调用、执行工具、加载技能指令并保留历史记忆。AlphaDiana 提供数据集、智能体、环境与评分器的模块化接口，在保留框架原生控制循环的同时，把文件复用与记忆保留作为可单独控制的变量。它既支持对完整智能体做宏观分析，也支持在匹配条件下对工具、技能、记忆等组件做微观干预。

实验与发现

作者在五个基于答案的基准上研究三个开源模型与三个开源框架，其中两个模型另在两个交互式基准上测试。结果显示：框架并不稳定提升推理准确率——在模型单独无法解决的问题上获得的增益，可能被其在无工具时可正确回答的问题上的损失所抵消。这一不一致也出现在组件干预中：技能指引与保留历史都没有可靠地提升准确率。作者强调行为与输出 token 使用必须与正确性一起评估：低 token 熵可能伴随错误答案；当准确率下降时，单次执行输出更少可能意味着每个正确答案消耗更多输出 token。

适用场景与限制

该工作面向需要比较智能体配置、诊断失败并统一任务与资源策略的研究与工程测量。摘要未给出具体数据集名称、评分细节、实现方式或代码可用性，也未说明模型、框架与基准的版本信息，这些均需查阅原文核实。