TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf 边缘智能体基准，速度提升 6.4 倍

用途与基准设置

据 NVIDIA 开发者博客（2026 年 9 月 16 日）介绍，其 TensorRT Edge-LLM 提交参加了 MLPerf Inference v6.1 Edge Agentic 基准。测试在单台 NVIDIA Jetson AGX Thor 开发者套件上进行，使用 128 GB 统一内存、MAXN 功耗模式，模型为 Qwen3.6-27B，SingleStream 模式。

该基准分性能与准确率两阶段：性能阶段回放软件工程智能体轨迹，含 20 段对话、1007 个生成轮次，输入长度随轮次增长至约 23.5K tokens；准确率阶段采用 BFCL v4 单轮提示、关闭推理。

公布的主要结果

• 输出吞吐：52.33 tokens/s
• 首 token 中位延迟：247.12 ms
• 每输出 token 中位时间：14.68 ms
• BFCL 总体准确率：87.94%
• 整个性能负载耗时 24 分 36 秒，博客称比 llama.cpp 参考运行（Q4_K_M 量化、2 小时 37 分）快 6.4 倍

所提及的优化手段

• 权重与激活（含语言模型头）采用 NVFP4，KV 缓存采用 FP8；NVFP4 为 Jetson AGX Thor 所搭载 Blackwell GPU 支持的 4 位浮点格式
• 跨智能体轮次复用 KV 缓存与循环状态，仅预填新增后缀；文中称约 96% 的提示 token 命中热缓存
• 树式多 token 预测：使用 8 个草稿步、每层 top-2、16 节点验证树；博客称相比 3 步线性 MTP 在该负载下解码性能再提升约 40%

限制与待核实

上述数字均来自 NVIDIA 官方博客及其 MLPerf 提交，尚未独立复现；不同硬件、量化方式与配置下的结果不可直接外推。博客提到实现位于 TensorRT Edge-LLM 的 release/0.9.1-mlpinf 分支，并给出校准 NVFP4 检查点与 MLCommons 端点测试工具的相关说明，具体命令与配置需以对应仓库文档为准。