AI · AGENTS · KNOWLEDGE
量化与模型优化
整理模型压缩、运行资源与优化相关资料。
内容目录
共 3 条内容 · 显示 1–3技术动态量化与模型优化离线 Top-K Logits 与融合分块 KL：降低大模型知识蒸馏显存开销 Multiverse Computing 团队于 2026 年 8 月 10 日发布的博客介绍了其论文中的两项系统级改动：缓存教师模型的 top-100 logits 做离线蒸馏，以及将输出投影融合进分块计算的 KL 损失。在 Llama 3.1 8B 教师与 3.2B 学生、8K 上下文单张 H200 的设置下，融合分块损失峰值显存为 58.3 GB，低于在线蒸馏的 102.8 GB，迭代耗时略高于前向分块方案。技术动态量化与模型优化量化感知修复（QAH）：压缩后的 4-bit 模型如何超过其全精度版本 Multiverse Computing 于 2026 年 8 月 25 日发布文章，介绍其论文《Quantization-Aware Healing》。该方法在“结构压缩→量化→修复”流程中，不蒸馏修复后的 bf16 检查点，而是直接从原始大模型蒸馏到 4-bit 学生模型。在 GPT-OSS 120B 压缩到 60B 并量化为 MXFP4 的实验中，该模型在 9 项基准中有 7 项超过其 bf16 检查点；作者在评论区承认，对比表未控制训练量差异。AI 知识量化与模型优化LLM Compressor 量化能力与 GPTQ/MSE 观察器更新摘要 vLLM 项目下的 LLM Compressor 是面向 vLLM 部署的模型量化优化库，README 说明了其支持的量化精度、算法、示例流程，以及 v0.13.0 后新增的 Triton GPTQ 内核、FP4 观察器扩展等改进和一批量化检查点。