LEV：用循环决策模型实现可调深度的快速推理

用途与思路

LEV 是一种决策模型：对输入提出带选项的类型化问题，每个选项输出一个概率，单次前向传播完成，不生成文本。作者将其类比为双过程理论中的快速 System 1，但指出这类模型深度在训练时固定，简单与困难问题耗费相同计算量；而用生成文本推理的模型可以思考更久，代价是每个额外步骤都要解码 token。

LEV 的做法是不生成 token，而是循环重跑自身层来加深思考：基于以循环方式预训练的语言模型，在每个循环步骤后读取选项，并联合训练所有步骤，因此同一份检查点可在任意深度作答。

报告的结果

摘要称，在三个循环骨干上，同一权重下准确率随深度上升，提升多出现在困难问题上；一个 2.6B 的 LEV 在 JevBench 上从深度一的 63.2% 升至深度四的 76.2%。按问题动态设定深度——由带阈值的小型停止器根据无标注请求拟合——可节省 15% 至 24% 计算量，代价低于一个准确率点，与固定深度混合方案相当或略优。在锁定测试集上，1.4B 与 3B 模型比同延迟低于 50 ms 的稠密（非循环）模型及其级联高 5.4 至 8.8 个百分点。

限制与待核实

该来源为 arXiv 预印本摘要，未经同行评审，上述数值与结论尚未经过独立验证；摘要未给出数据集细节、与其他方法的完整对比及复现条件，具体实现与适用范围需查阅原文核实。来源时间为 2026-10-16。