LLM Compressor 量化能力与 GPTQ/MSE 观察器更新摘要
vLLM 项目下的 LLM Compressor 是面向 vLLM 部署的模型量化优化库，README 说明了其支持的量化精度、算法、示例流程，以及 v0.13.0 后新增的 Triton GPTQ 内核、FP4 观察器扩展等改进和一批量化检查点。
用途与定位
LLM Compressor 是 vLLM 项目下的模型量化优化库，产出以 compressed-tensors 格式保存的模型，供 vLLM 加载。据来源，它支持权重、激活、KV cache 与注意力的量化算法，集成 Hugging Face 模型仓库，并支持 DDP 与磁盘卸载以压缩超大模型。
支持范围
- 激活量化：W8A8（int8/fp8）、W4AFP8、Microscale（NVFP4、MXFP4、MXFP8）。
- 混合精度：W4A16、W8A16、MXFP8A16、MXFP4A16、NVFP4A16。
- 注意力与 KV cache：FP8、NVFP4。
- 算法：简单 PTQ、GPTQ、AWQ、SmoothQuant、AutoRound、旋转类方法（SpinQuant、QuIP）、REAP 专家剪枝。
v0.13.0 之后的变化（来源自述）
新增基于 Triton 的 GPTQ 量化内核，来源称比原 eager 路径快约 15 倍，并支持同形状层批处理；支持 act-order 校准，移除 hessian 卸载，eager 路径也提速 1.5–2 倍。MSE 与 iMatrix 观察器为 FP4 增加网格搜索扩展因子，来源称在内部困惑度基准上平均优于 NVFP4 下的 GPTQ。MSE 观察器的网格搜索改由 Triton 内核执行，支持 INT、FP4、FP8、FP16/BF16。
限制与待核实
上述加速倍数与精度对比均为来源自述，未见独立复现。README 未给出发布日期；所列模型检查点多由 Red Hat AI 发布，其效果需查看各自模型卡。安装、示例代码与具体版本以官方文档为准。
来源与核对说明
- 量化与模型优化 · vllm-project/llm-compressor ↗https://github.com/vllm-project/llm-compressor/blob/HEAD/README.md
本文经 AI 整理及独立自动校对，未做运行验证；自动校对仍可能遗漏问题，请以原始资料为准。
这篇内容对你有帮助吗？
点赞人数由服务器记录，收藏保存在当前浏览器。