NVIDIA NeMo Relay 用于追踪 Agent Harness 行为

用途与变化

NVIDIA 开发者博客（2026 年 9 月 30 日）介绍 NeMo Relay 这一 agent 可观测层：它按顺序记录生命周期事件与结构化轨迹，Hermes Agent 已原生集成，可产出 ATOF 事件流、ATIF 逐步轨迹，以及带 OpenInference 标签的 OpenTelemetry span，供 Arize Phoenix 等工具查看。

文章给出两个示例：一个终端工具任务，在隔离 Docker 容器内运行脚本并校验输出 VALUE=42；一个多工具研究任务，要求读取旅行记录、网页搜索、在官网核实会议并写报告，最终返回会议名。文中的验证脚本会检查工具调用成功、ATOF 中存在完成的 LLM 活动与 token 用量且无工具错误、ATIF 轨迹非空。

适用场景

适合需要判断“任务是否成功、agent 如何完成”的开发者：调试单次运行、审计事件时序与父子关系、用 OpenTelemetry 后端检查模型与工具调用的耗时、token 与错误。

限制与待核实事项

• 文中 token 数、标识符和路径会随运行变化；
• 涉及实时网页搜索的任务只适合探索行为，不宜直接用单次结果排名模型；
• 评估 harness 改动需固定模型快照、输入、预算与超时，并重复多次运行；
• 文中提到的一次 A/B 运行显示某模型任务完成率上升但调用数、结果数据量与耗时也增加，具体表格内容需以原始数据为准；
• 轨迹可能包含提示、模型响应、工具参数与文件路径，分享前需审查。