NVIDIA Dynamo-Triton 26.07 支持 TensorRT 多设备推理

用途与变化

NVIDIA 开发者博客（2026-09-21）介绍 TensorRT 多设备推理与 NVIDIA Dynamo-Triton 的集成。据来源，TensorRT 多设备推理允许单个 TensorRT 网络借助 NCCL 分布式集合通信在多个 GPU 上执行，同时保留 TensorRT 的推理优化，自 TensorRT 11.0 起正式支持。

Dynamo-Triton 26.07（原 Triton Inference Server）启用了 TensorRT 后端的这一能力：一个 KIND_MODEL 实例可拥有多个 GPU，为每个 rank 创建 TensorRT 执行上下文、CUDA 流和 NCCL 通信器，并在每次请求时共同启动各 rank。应用只需通过一个 gRPC 端点调用命名模型，不必自行协调 GPU rank。

示例与数据

示例使用 Cosmos 3 Nano 视频生成：Diffusers 负责提示词、潜变量、CFG、调度、VAE 解码与帧后处理，Dynamo-Triton 服务 36 层去噪 transformer，TensorRT 多设备以 Ulysses 上下文并行把 44,160 个视频 token 分布到最多 8 块 GPU。

来源给出的基准测试（同机 8 卡，1280×720、189 帧、24 FPS、35 步去噪，含预热后 5 次完整生成，不含模型加载与 mp4 编码）显示：端到端均值从单 GPU 的 156.595 秒降至 8 GPU 的 34.183 秒，transformer RPC 加速约 6.09 倍。输出经同种子视觉校验，满足来源设定的 MAE ≤ 25、PSNR ≥ 18 dB 阈值，但来源明确未声称像素级一致。

限制与待核实

来源说明该基准未测量并发请求吞吐、单视频生成成本或总拥有成本，团队需按自身 SLO 与部署经济性评估资源换延迟的取舍。相关配置、复现步骤与文档细节应以来源链接为准。