NVIDIA 开源 Kubernetes 控制器 NVCRE：用真实负载验证 GPU 集群就绪

用途与变化

NVIDIA 开发者博客（2026 年 9 月 23 日）介绍 NVIDIA Cluster Readiness Engine（NVCRE）：一个开源 Kubernetes 控制器，用于在正式 AI 工作负载上线前，通过运行真实分布式工作负载来验证 GPU 集群就绪状态。文章指出，集群可能通过常规健康检查，却仍在 512 GPU 训练任务中表现异常或失败，原因可能是单个慢 GPU、负载下退化的链路或悄悄走慢路径的配置，而问题往往数小时后才被发现。

机制要点

• 采用 Certification、Workflow、Job 三层自定义资源，把失败归因到具体节点和类别，例如 NCCL 通信或 NeMo 预训练。
• 通过 CEL 表达式定义通过/失败阈值；衡量指标未达标时设置 ValidationFailed 条件，与运行本身是否成功分开记录。来源强调默认不附带阈值，文中给出的数值为示例。
• testScale 支持 intra-node、intra-rack、full-scale 和 diagnose；diagnose 采用自适应故障隔离，拆分失败组并重试，直到给出少量可疑节点。
• 另有 WorkloadRun API，用于在 Kubernetes 上处理多节点 GPU 工作负载的重复性设置，包括平台检测、框架运行时配置和可选的 gang scheduling。
• 内置目录覆盖 NCCL 通信变体、DCGM 四级诊断套件以及 NeMo 预训练（Nemotron 5 的 8B 和 56B）。

适用场景与限制

面向在 Kubernetes 上运行多节点 GPU 训练或通信测试的平台团队。文章说明 NVCRE 只记录失败节点和原因，不执行 cordon、taint 或修补节点状态；与 NVSentinel 配合时，可由后者根据失败认证结果触发隔离、排空等处置。要求 Kubernetes 1.29 或更高版本、kubectl、Helm 3.x 和目标集群上的 NVIDIA GPU Operator；部分 GB200/GB300 NVL72 目录项还需要 DRA Driver，DCGM 四级类别需要独立 DCGM 服务。安装命令与示例配置均来自来源，未在本文环境中验证。