Google Research：前沿大模型的事实错误更多源于“回想失败”而非“未编码”

用途与核心发现

Google Research 在 2026 年 8 月 12 日的博客中提出“知识画像”（knowledge profiling）框架，把分析单位从单道题转向单个事实，区分事实是否已被模型参数编码，以及能否在无外部提示下被回想。标准准确率指标会把这两类失败混在一起，而它们对应不同的改进方向：编码失败指向扩大模型规模或数据覆盖，回想失败则可能通过后训练和推理时方法改善。

方法与基准

研究构建了 WikiProfile，包含 2,150 条来自维基百科的事实，每条配十道题，分别探测编码、回想与识别。事实状态被归为五类画像，包括编码失败、回想失败、直接回想、借助思考的回想，以及未编码但可推断。评测覆盖 13 个模型，分别在启用和不启用思考的设置下各采样八次回答。

主要结论

在 Gemini-3-Pro 与 GPT-5 上，95–98% 的事实被编码，但直接回想仍失败 26–34%；即使启用思考，仍有 11–12% 的事实失败。Gemma 3 系列中，模型变大后编码失败明显减少，但回想失败仍然显著，并在剩余错误中占比更大。研究还发现，低频事实的编码率与高频事实差距不大，但回想差距更大；反向问题在多项选择识别中并不比正向更难，在开放式生成中则明显更难。启用思考可恢复思考优化模型中约 40–65% 已编码但未直接掌握的事实，对未编码事实的恢复比例仅为 5–15%。

限制与待核实

上述数字来自该博客对论文结果的概述，博客未给出完整的评测细节与误差范围；结论基于维基百科来源的事实和自动评分流程，能否推广到其他领域、语言与任务仍需进一步验证。思考机制的计算成本，以及何时应触发思考，来源也指出尚不清楚。