基于评分标准的LLM评估存在不确定性：共形加权方法提出

用途与变化

根据预印本摘要，基于评分标准（rubric）的评估常用于衡量大语言模型输出质量：把质量拆成多个准则，由LLM验证器对每项给出二元判断，再聚合成最终分数。该文指出，不同准则的判断确定性差异明显，而现有方法通常统一聚合、默认每项同样可靠，使不确定的判断也被无差别地纳入奖励估计，可能给下游强化学习带来误导信号。

为此作者提出 Uncertainty-aware Rubric Weighting（URW），这是一个免训练的框架：先用一组改写的判断模板获取软性不确定性信号，再借助分裂共形p值将其转换为每项准则的权重，并声称具有可证明的覆盖保证。摘要称实验显示URW能持续提升成对偏好准确率，并带来更强的下游RL对齐。

适用场景

面向使用评分标准做LLM输出评估、并希望把评估结果用于奖励建模或RL对齐的研究与工程场景。

限制与待核实

来源为arXiv cs.AI预印本摘要，未经同行评审，论文结论与实验细节均未验证；摘要未给出具体数据集、基线、超参数或覆盖保证的适用条件，实际效果需查阅原文并复现后确认。