NVIDIA NeMo Gym 用于芯片设计智能体评测：Siemens EDA 案例

用途与背景

据 NVIDIA 开发者博客（2026 年 10 月 14 日）介绍，标准单元表征需要为逻辑单元生成时序、功耗和噪声模型，每当代工厂发布新的 PDK，相关数据集都需重新生成并验证。Siemens Fuse EDA AI Agent 通过 MCP 服务器和 skills 编排 Solido Characterization Suite 中的工具，但早期设置错误可能在多阶段流程中静默传播，产出看似合理却错误的 Liberty 文件。

评测方法

NeMo Gym 为每次 rollout 定义任务、工具、状态和验证器，并记录思考轨迹、输入输出消息与工具动作。团队先运行基线 rollout，检查失败的工具调用和验证器诊断，找出指令含糊、无效操作和工具选择错误，再修改 skills 与 MCP 工具描述，并在相同条件下重跑对比。

验证器对最终 Liberty 产物打分，指标包括覆盖率、有效性、相对验证、准确率和完整性；任一门禁失败则奖励为零，准确率部分为容差内数值占比。博客强调应评估最终工程产物，而不是只看单个工具调用是否成功。

结果

团队使用开源 GF180MCU PDK，数据包含 229 个标准单元、36 个 PVT 角，用 Solido AFS 做 SPICE 仿真；每次运行限制为 2 个单元 × 36 个 PVT 角，约 25 次 rollout，模型和 harness 固定为 Claude Code 中的 Claude Opus 4.8。改进工具选择（简化重叠的文件与 shell 接口、用显式 JSON schema 定义工具输入）后，基准综合验证得分从约 55% 升至约 95%，智能体轮次从 155 降至 53（约减少 66%），输出 token 从约 81K 降至 29K（约减少 64%）。

适用场景

博客称同类方法可迁移到 EDA、CAE 等工程领域的智能体，核心是评估最终产物、编写能识别缺失/截断/重排/复用结果的领域验证器，并通过大量 rollout 优化 skills 和工具接口。

限制与待核实

上述数字来自特定 PDK、任务子集和固定模型 harness 下的开发基准，不代表其他任务或模型的普遍表现；来源未说明生产环境验证情况、成本变化或不同模型的结果。