CleanRM：用少量干净反馈校准噪声偏好数据

用途与思路

奖励建模依赖偏好数据，但主观判断、标注错误和不完美的 LLM 评判都会引入噪声，使在噪声反馈上训练得到的奖励模型对干净风险的估计产生偏差。经典去噪方法通常假设各样本噪声比例一致，而偏好数据中的噪声往往是逐样本不同的。

该预印本提出 CleanRM：借助少量干净反馈，通过最优传输校准逐样本噪声比例，使从噪声反馈还原出的偏好联合分布与干净反馈分布对齐，再用噪声校正后的替代损失训练奖励模型。

结果与适用场景

作者声称在理论上证明该目标对干净风险无偏，并称实验显示其优于现有去噪基线，能带来更有效的下游 RLHF 对齐。适用于偏好数据存在噪声、又只能获得少量干净标注的 RLHF 奖励建模场景。

限制与待核实

这是 arXiv 预印本摘要，未经同行评审，文中「无偏」「优于基线」等结论均未经验证，不应视为既成事实。摘要未给出具体实验规模、数据集、基线名称和数值，也未说明所需干净反馈的数量、噪声估计的稳定性及计算开销，这些都需要查阅全文核实。