vLLM 大模型推理服务框架

能做什么

vLLM 是一个用于大语言模型（LLM）推理与服务的库，强调易用、快速与低成本的 LLM 服务。其核心特点包括：

• 高吞吐服务能力，采用 PagedAttention 管理注意力键值内存。
• 连续批处理（continuous batching）、分块预填充（chunked prefill）、前缀缓存（prefix caching）。
• 支持多种量化方案，如 FP8、MXFP8/MXFP4、NVFP4、INT8、INT4、GPTQ/AWQ、GGUF 等。
• 优化注意力内核与 GEMM/MoE 内核，支持推测解码（如 n-gram、suffix、EAGLE、DFlash）。
• 支持张量、流水线、数据、专家与上下文并行，用于分布式推理。
• 提供流式输出、结构化输出生成、工具调用与推理解析器。
• 提供 OpenAI 兼容 API 服务器，并支持 Anthropic Messages API 与 gRPC。
• 支持多 LoRA，适用于稠密与 MoE 层。
• 支持 NVIDIA、AMD、Intel GPU 以及 x86/ARM/PowerPC CPU，并可通过硬件插件支持 Google TPU、Intel Gaudi、Huawei Ascend、Apple Silicon 等。
• 无缝支持 Hugging Face 上 200+ 模型架构，涵盖仅解码器 LLM、MoE LLM、混合注意力与状态空间模型、多模态模型、嵌入与检索模型、奖励与分类模型等。

适用场景

• 需要部署或本地运行 LLM 推理服务的开发与运维场景。
• 需要高吞吐、低延迟 LLM 服务（如在线 API 服务）的团队。
• 需要多模型、多硬件适配或分布式推理的研究与工程环境。
• 需要结构化输出、工具调用、多 LoRA 等高级推理功能的智能体或应用后端。

使用条件与限制

• 可通过 uv 或 pip 安装，或从源码构建；具体依赖与硬件要求参见官方安装文档。
• 不同硬件平台与模型架构的支持情况存在差异，需参考官方支持模型列表与安装说明。
• 文档中未明确说明许可证、价格或性能实测数据，使用前应查阅官方文档确认。