NVIDIA 发布 AIPerf：面向大规模 LLM 推理的压测工具

用途与变化

NVIDIA 开发者博客介绍 AIPerf，称其为 GenAI-Perf 的指定后继者，属于从头重写的压测工具，不再基于 Perf Analyzer 运行。其核心变化是采用多进程架构：工作进程产生负载，独立的记录处理服务处理结果，并通过 ZMQ 协调，以避免压测客户端在高并发下因单进程与 GIL 限制成为瓶颈，从而更准确地测量服务端性能。

功能与适用场景

• 支持 15 种以上端点类型，包括 chat、responses、NIM 排序、图像生成等，并支持 ShareGPT 等公开数据集，以及来自 Mooncake、Baseten、WEKA AgentX 的 trace 回放格式，便于用接近生产流量的负载测试。
• 可控负载形态：支持 constant、Poisson、gamma 到达模式与可调突发性，并发与请求速率可渐进爬坡，还支持 vLLM/SGLang range-ratio 等合成分布，用于变化 ISL/OSL。
• 指标覆盖 TTFT、ITL、请求延迟、输出 token 吞吐，按 p25 至 p99 等百分位给出，并结合最小值、最大值、均值与标准差；在存在 DCGM 或 pynvml 时可采集 GPU 功耗、利用率和显存。

示例与限制

博客以 vLLM 服务的小模型为例演示静态与 Poisson 两种压测配置，并说明开启流式才能测量 TTFT 与 ITL。文中提到在 aarch64 上安装可能因 crick 依赖需要 C 工具链。该文为官方技术博客，属工具介绍而非独立评测，示例中的性能数字不应视为通用结论；具体版本、命令参数与支持范围请以官方仓库和文档为准。来源发布时间为 2026 年 9 月 18 日。