NVIDIA 发布 DIN Deploy：用 C++ 与 TensorRT RTX 构建本地 AI 应用

项目用途

据 NVIDIA 开发者博客（2026 年 10 月 1 日）介绍，DIN Deploy 是一组开源 C++ 示例，目标是把模型检查点变为 Windows 与 Linux 上的原生硬件加速应用。它把 ONNX Runtime 与 NVIDIA TensorRT RTX 执行提供器结合，同一套 ONNX Runtime API 也可通过 WinML 2.0 访问。

结构与支持的模型

每个示例先用 Python 导出器把 Hugging Face 检查点转换为 ONNX 产物，再由基于 ONNX Runtime 会话与张量 API 的原生 C++ CLI 执行推理，从而将模型转换与部署逻辑分开。示例覆盖：OpenAI Whisper（离线转写）、NVIDIA Parakeet TDT 与 Nemotron ASR Streaming（流式语音识别）、Meta SAM 2.1（图像与视频交互式分割）、FLUX.2-klein-4B（提示驱动的图像生成）。

性能与量化

来源给出 DGX Spark 上的测量：Whisper large-v3-turbo 为 GPU 58.5 倍实时、CPU 3.8 倍；Nemotron ASR streaming 0.6b 为 39.01 倍对 3.24 倍；Parakeet TDT 0.6b 为 206.41 倍对 14.44 倍；SAM 2.1 为 GPU 38.3 FPS 对 CPU 0.5 FPS。FLUX.2 示例展示 Vulkan 与 DirectX 图形互操作以及用 NVIDIA Model Optimizer 做训练后量化，量化模型因 ONNX 接口不变可直接替换，无需改应用代码。

限制与待核实

上述性能数据均为来源在 DGX Spark 上的测量结果，未在其他硬件或本地环境验证；博客为厂商发布内容，使用前应自行确认构建与运行效果。方向等细节以仓库说明为准。