基于条件对比外推的在线策略蒸馏方法 CCE-OPD

用途与思路

该预印本关注在线策略蒸馏（OPD）的一个问题：学生模型基于自己生成的前缀接受更强教师模型的监督时，教师可能偏好违反问题前提的无效续写，从而让学生学到错误推理步骤。作者提出 CCE-OPD（Condition-Contrastive Extrapolated On-Policy Distillation），让教师监督对问题条件更敏感。它包含两部分：一是固定前缀对比，用同一个冻结教师分别评估完整问题和屏蔽掉某个条件后的对照问题；二是带边界的对数概率对比，把教师分布重加权为辅助蒸馏目标。

报告的结果

在 200 个诊断推理状态上，条件对比把偏好无效续写的比例从 27.0% 降到 16.0%。在六个数学基准上，把 Qwen3-8B 蒸馏到 0.6B 和 1.7B 学生模型时，CCE-OPD 相对 OPD 的 avg@8 平均提升分别为 1.60 和 1.95 个百分点；在四个迁移基准上报告了最强结果。

限制与待核实

这是 arXiv 预印本，未经同行评审，上述数字与结论尚未独立验证。来源未给出复现所需的完整训练配置、数据规模和成本信息，实际可用性需进一步核实。