NVIDIA 称 NIM 全栈优化让 Nemotron 3 Ultra 在 4xB200 上支持 2.5 倍并发用户

用途与背景

NVIDIA 开发者博客发文，讨论在 4 张 B200 的硬件配置上，为 Nemotron 3 Ultra 提供面向多用户推理的服务优化。文章针对的是智能体类负载：提示词较长、上下文会在多步之间复用、响应往往以流式返回，因此并发用户数与交互延迟之间的取舍更突出。

本次变化

来源给出的基准定义为：4xB200、64K/400/76% KV 复用、50 TPS/用户（约 20 ms ITL）。在该口径下，启用 NIM 2.0.12 优化栈后系统输出吞吐为 1997 tok/s，未启用 NIM 优化的基线为 718 tok/s，约为后者的 2.5 倍，作者据此表述为同等交互性下可服务约 2.5 倍的用户。

文章将收益归因于一组相互作用的配置：面向混合架构自动调优的 MoE 与 Mamba 内核、张量并行与专家感知执行、前缀缓存与部分前缀匹配以及 Mamba 状态缓存、调度与批处理和显存调优，以及 MTP 推测解码。文章提醒这些并非可简单相加的独立开关，MTP 的增量收益取决于接受率与显存余量。

适用场景

NIM 被描述为把模型与 GPU 相关的服务选型打包成可部署微服务，附带经过验证的配置、标准 API 与容器生命周期；生产部署可通过 NVIDIA AI Enterprise 获得推理栈更新、CVE 处理、更广的硬件验证与商业支持。文章建议开发者用 NVIDIA AIPerf 回放自有流量、绘制帕累托曲线，再按延迟 SLO 选点。

限制与待核实

文中数据为 NVIDIA 自测的特定模型、GPU 与工作负载组合，官方也明确说明公开曲线只是起点，不能保证每个应用都能得到相同结果。示例中的并发扫描命令、镜像标签、模型配置文件名与推测解码开关均来自来源，部署前需按自身环境核实并固定镜像版本。