预印本提出 RSHD 方法：用失败轨迹回放恢复 GRPO 训练监督

用途与变化

该预印本针对 GRPO 训练中的一个问题：当某个问题的全部 rollout 都失败时，既没有成功样例，也没有非零的组内相对优势，模型无法从这些最需要学习的问题中获得任何信号。

作者提出 RSHD（Replay-Selected Hindsight Distillation）：让策略在不看参考答案的情况下，为每个失败尝试写一条纠错笔记，然后把笔记放入上下文后重新解题。笔记需先经过筛选，排除直接写出答案的笔记；只有其回放成功率高于原分组时才会被采纳，并被蒸馏回仅用普通提示的策略。由于采纳与否由新产生的成功决定，而非由失败轨迹本身决定，该方法也能处理全失败分组，并同样适用于混合分组中的失败样本。

适用场景

据摘要，训练时只更新策略，唯一的评判者是结果验证器，部署阶段不需要笔记或额外推理。作者称在不同模型家族与规模、两个训练域上，RSHD 在域内基准上稳定优于 GRPO，且增益可迁移到域外评测集。

限制与待核实

这是 arXiv 预印本（arXiv:2610.21018v1），未经同行评审，论文结论尚未被独立验证。摘要未给出具体基准名称、模型规模、数据集与数值结果，也未说明采纳率、额外训练开销及验证器依赖程度，这些均需查阅原文核实。