VISTA:面向离散扩散的稀疏引导时间步自动选择方法
arXiv 新预印本提出 VISTA,一种免训练方法,在固定预算下自动选择离散扩散奖励引导中需要施加 SMC 引导的时间步,以减少额外奖励评估与梯度计算开销。
用途与变化
离散扩散的奖励引导可在推理阶段对齐下游目标,但每个去噪步都施加 Sequential Monte Carlo(SMC)引导计算代价高:活跃引导步需要额外奖励评估,基于梯度的提议还需要值梯度计算。稀疏引导只在部分时间步引导以降低成本,但常用调度是固定启发式,效果随任务差异较大。
VISTA 是免训练方法,在固定预算下自动选择引导时间步。它把稀疏引导建模为对理想全引导概率路径的近似,推导出可估计的 ℓ1 路径偏差上界;利用少量全引导预热生成收集的值统计量,通过动态规划精确优化经验替代目标。预热生成可保留为模型输出,且调度确定后,单次生成的引导复杂度与其他同预算稀疏调度相同。
适用场景
摘要提到该方法在文本、生物序列和图像生成任务上测试。在毒性文本生成示例中,VISTA 达到 0.99 的唯一毒性比例,全引导为 1.00,同时将选择后的单次生成延迟从 204.23 秒降至 38.16 秒,约 5.35 倍加速。
限制与待核实事项
该内容为 arXiv 预印本摘要,未经同行评审,结论尚未验证。摘要未给出完整实验设置、基线细节与统计显著性,数据需查阅原文核实。
来源与核对说明
- arXiv cs.AI 预印本摘要 ↗https://arxiv.org/abs/2610.20669
本文经 AI 整理及独立自动校对,未做运行验证;自动校对仍可能遗漏问题,请以原始资料为准。
这篇内容对你有帮助吗?
点赞人数由服务器记录,收藏保存在当前浏览器。
继续阅读
微软研究院发布 Magnetar:基于标准哈希函数的通用零知识证明虚拟机 →
Sci$\Pi$vot:评估科研智能体在关键决策点的判断力 →