AI · AGENTS · KNOWLEDGE
测试与效果评测
整理任务测试、评估方法与结果验证资料。
内容目录
共 2 条内容 · 显示 1–2技术动态测试与效果评测ThinkingBox：以终端数据库状态而非工具调用评判 AI 智能体 微软与 Hugging Face 联合发布 ThinkingBox 评测框架与 ThinkingBox-Bench 基准，覆盖 507 个有状态企业工作流，每个任务重复运行 20 次，按智能体留下的后端状态和副作用打分。结果显示许多失败轨迹表面“干净结束”，但数据库字段仍是错的；单次成功率与 20 次全部成功的稳定性之间存在明显落差。开发文档测试与效果评测Ragas：面向 LLM 应用评测的开源工具 Ragas 是一个用于评测和优化大语言模型应用的 Python 工具包，提供基于 LLM 与传统指标的目标度量、测试数据生成，以及和 LangChain 等框架的集成。