SWE-Serve 基准揭示本地测试与实时服务验证之间的差距

基准用途

据 NVIDIA 开发者博客（2026 年 9 月 23 日）介绍，SWE-Serve 用于评估 AI 编码智能体在 LLM 推理服务栈上的仓库级改动，而非内核生成或性能调优。它把 83 个已合并的 SGLang 拉取请求转化为 53 个可执行任务，覆盖六类：投机与高级解码 14、模型与后端启用 12、内核/量化/性能 8、服务 API 与运行时正确性 8、缓存与运行时状态 7、分布式执行与调度 4。12 个任务在 CPU 运行，41 个使用单张 H100。

关键发现

19 个任务会启动真实服务器并通过服务接口测试补丁。相同补丁在完整验证器下通过率为 45.9%，剔除实时服务检查后升至 69.4%，意味着约三分之一通过其他检查的补丁在实时服务验证中失败。跨多个运行时域（请求处理、调度、模型执行、KV 缓存管理）的任务通过率比单域任务低 21.3 个百分点，所测模型方向一致。11 个模型用 mini-swe-agent 在闭卷条件下评估，平均 pass@1 从 34.6% 到 75.5% 不等；得分相近的配置在成本与耗时上差异明显。

适用场景与限制

该基准适合比较编码智能体在推理服务工程任务上的表现，并提供任务环境、验证器和基线配置供复现。需注意：单次通过表示补丁满足基准验证器，并不代表可部署、可合并或获 SGLang 维护者认可；本次未评估其他推理引擎、多 GPU 与多节点服务。模型在原生框架下并未取得更高分。

待核实事项

文章涉及的具体模型名称、版本、价格与得分来自来源自述，未在此独立验证。