NVIDIA 机密计算下的 TensorRT LLM 推理性能表现

用途与变化

NVIDIA 开发者博客（来源发布时间为 2026 年 9 月 22 日）说明如何在使用内存加密的机密虚拟机（CVM）、机密 GPU 与加密 NVLink 的机密计算（CC）环境中运行生产级 LLM 推理。由于安全执行会改变内存搬运、计时、调度与多卡通信的假设，TensorRT LLM 加入了三类 CC 感知适配：

• 主机到设备拷贝：B200 CC 下传输需经过软件加密 bounce buffer，pinned memory 不再具有异步传输优势，因此对受影响路径改用 pageable memory；设备到主机方向的重复 token 与采样数据回读改由异步 worker 处理，避免阻塞解码阶段的主调度器。
• 内核自动调优：测试的 CC 配置中 CUDA event 时间戳信号不稳定，可能选到较慢策略，TensorRT LLM 在 CC 下改用 GPU %globaltimer 测量策略，非 CC 环境仍保留 CUDA event。
• 多卡通信：B200 CC 配置不支持 NVLS（NVLink SHARP）组播，框架应检测 NVLS 可用性，并按消息大小、拓扑与负载选择延迟更低的通信算法。

测量方式与结果

作者用 CC 开与 CC 关的对照方法，保持模型、硬件、框架版本、序列长度、并行度与并发不变。负载为 DeepSeek-R1-0528-NVFP4、32K 输入/1K 输出、并发 1–16、TP=8，运行于单台 DGX B200（8 张 B200）。结果显示 CC 开启后保留了 96.1%–98.2% 的输出 token 吞吐，平均 TPOT 相对基线增加 1.2%–4.3%。

适用场景

适合在受监管或涉及专有模型与敏感上下文的场景中规划私有推理部署的 AI 平台工程师，以及使用 TensorRT LLM 的开发者参考其适配思路与对照测量方法。

限制与待核实

上述数据来自 NVIDIA 自身公布的受控测试，具体配置与版本（如 TensorRT LLM 1.3.0rc22、CUDA 13.2、驱动 595.71.05）仅代表该次测试环境，不能直接外推到其他模型、硬件或并发组合。是否实际启用 CC、其安全配置与证明流程、以及在不同负载下的性能取舍，仍需按自身目标负载自行基准测试核实。