量化感知修复（QAH）：压缩后的 4-bit 模型如何超过其全精度版本

背景与问题

大模型部署常用的流程是：先做结构压缩（去掉层、注意力头或神经元），再把权重量化到 4 bit。这两步能显著节省显存和计算，但会削弱推理、数学和代码能力，因此通常还要加一步“修复”。

作者指出，常见修复方法有两类：

• 量化感知训练（QAT）：在前向计算中插入伪量化算子，继续用任务损失微调。成本高，训练超过最优点后可能不稳定。
• 量化感知蒸馏（QAD）：用冻结的全精度教师模型，通过 logits 上的 KL 散度蒸馏量化学生模型。但模型经过结构压缩后，不存在该小架构的独立全精度版本，只能以修复后的 bf16 检查点作教师，学生会受限于这个已降级的目标。

QAH 的做法

量化感知修复（QAH）改为直接从压缩前的原始大模型蒸馏到量化学生模型。教师是原始全尺寸模型，学生只有一半参数并以 MXFP4 运行；两者架构不同，但输出分布与架构无关，因此 KL 蒸馏仍可进行。学生不接触硬标签。

为支持长上下文（修复语料含最长 32k token 的文档），作者复用了其高效蒸馏工作中按序列分块计算 KL 的方法，避免生成完整的词表×序列矩阵。

实验结果

实验对象是 GPT-OSS 120B，压缩到 60B 并在 bf16 上修复，再在 MXFP4 下用 QAH 量化。对比基准是该 60B 模型的 bf16 检查点。

| 基准 | 120B 教师（MXFP4） | 60B BF16 | 60B MXFP4（QAH） | 相对 BF16 | |---|---|---|---|---| | AA-LCR（长上下文推理） | 50.0 | 35.3 | 42.7 | +7.4 | | AIME 2025（数学） | 80.0 | 70.7 | 76.3 | +5.6 | | Aider（智能体编程） | 45.3 | 38.2 | 40.9 | +2.7 | | τ²-bench（工具使用） | 68.4 | 59.4 | 61.7 | +2.3 | | GPQA Diamond（科学） | 69.0 | 65.7 | 67.4 | +1.7 | | IFBench（指令遵循） | 63.3 | 58.4 | 59.9 | +1.5 | | LiveCodeBench（编程） | 66.0 | 65.5 | 66.5 | +1.0 | | MMLU-Pro（知识） | 78.0 | 74.0 | 73.8 | −0.2 | | SciCode（科学编程） | 37.5 | 35.6 | 34.2 | −1.4 |

在 9 项基准中，QAH 模型有 7 项优于 bf16 来源；落后两项的差距均小于 1.5 分。相对 120B 教师，QAH 在 LiveCodeBench 上略高（66.5 对 66.0），GPQA Diamond 相差 1.6 分；AA-LCR 差距最大。

效率方面，4-bit 下 QAH 模型的权重内存约为 bf16 学生的四分之一；参数为 120B 教师的一半，每 token 计算量约减半。若模型族原本以 bf16 分发，参数与精度两项缩减合计约使每 token 计算量降至八分之一。

与 QAT 的对比

作者在 GPT-OSS 9B 上以 MXFP4 比较两种方法，跟踪 MMLU-Pro、LiveCodeBench、GPQA Diamond 的平均分：

• QAH 约 100 步达到峰值 54.9，此后训练中与峰值差距保持在约 2 分内；
• QAT 约 700 步达到 54.6，随后快速下降，到 1200 步损失近 19 分。

作者将稳定性归因于 KL 蒸馏：学生匹配固定教师分布后缺乏继续漂移的压力，而交叉熵任务损失会持续推向硬标签。因此 QAT 检查点需靠留出信号早停，充分训练的 QAH 检查点则可直接服务。

作者承认的局限

评论区有人指出，对比表中 bf16 检查点只做了一轮蒸馏，而 MXFP4 检查点做了两轮（额外针对 120B 教师），因此无法区分“在量化下蒸馏”与“训练更久”的效果。作者回应称会补充该说明，并承认当前表格不能支持“量化等于额外训练”的因果解读；要厘清需增加两组：给 bf16 60B 同样第二轮蒸馏，以及把继续训练的 bf16 再后训练量化为 MXFP4。作者认为数字可复现，不撤回，但将上述缺失列为当前版本的局限。

另需注意，正文称教师为“全尺寸、全精度”，而结果表标注教师为“120B teacher (MXFP4)”，两处表述存在不一致。

本文为方法介绍与实验报告，非同行评审论文结论的独立验证。