AI · AGENTS · KNOWLEDGE
模型选型与推理
对照任务需求整理模型选择与推理使用条件。
内容目录
5 条内容技术动态模型选型与推理NVIDIA 发布用于生物基础模型的高效 MoE 训练配方 NVIDIA 开发者博客介绍 BioNeMo 的 Mixtral 原生 Transformer Engine 配方，通过 GroupedLinear、MXFP8 与融合 GroupedMLP 内核降低 MoE 训练开销，并在八卡 B200 基准中报告最高 2.21 倍于 Hugging Face 基线的吞吐。技术动态模型选型与推理NVIDIA Dynamo-Triton 26.07 支持 TensorRT 多设备推理 NVIDIA 介绍 TensorRT 多设备推理能力与 Dynamo-Triton 26.07 集成，使单个模型实例可跨多 GPU 执行并通过单一 gRPC 端点对外服务；以 Cosmos 3 Nano 视频生成为例给出 1 至 8 GPU 的延迟对比，但未评估吞吐与总拥有成本。技术动态模型选型与推理NVIDIA 发布 AIPerf：面向大规模 LLM 推理的压测工具 NVIDIA 推出取代 GenAI-Perf 的多进程压测工具 AIPerf，支持多种端点与真实流量回放，并报告 TTFT、ITL 等指标及 GPU 遥测数据。开发文档模型选型与推理vLLM 项目说明：面向 LLM 推理与服务的高吞吐开源库 vLLM 是源自 UC Berkeley Sky Computing Lab 的开源 LLM 推理与服务库，以 PagedAttention 内存管理、连续批处理、量化与多种并行策略提升服务吞吐，并通过 OpenAI 兼容 API 等方式对外提供模型服务，目前支持 200+ Hugging Face 模型架构与多种硬件后端。技术动态模型选型与推理NVIDIA 称 NIM 全栈优化让 Nemotron 3 Ultra 在 4xB200 上支持 2.5 倍并发用户 NVIDIA 官方博客介绍 Nemotron 3 Ultra NIM 在 4xB200 系统上的服务优化：在 50 TPS/用户交互目标下，优化栈达到 1997 tok/s，约为未启用 NIM 优化基线的 2.5 倍。