谷歌提出 Diffusion Controller：轻量"转向阻尼"网络统一图像生成控制

用途与思路

谷歌研究在官方博客中介绍 Diffusion Controller：一个轻量「转向阻尼」网络。它不修改基座扩散模型，而是把图像生成（从随机噪声逐步去噪成图）看作平滑的连续控制问题，在生成过程中动态调整轨迹，让输出更贴合用户意图与视觉约束。作者以「戴墨镜的蜥蜴」为例，说明旧方法常在「漏掉墨镜」和「脸部失真」之间二选一，而该框架试图同时兼顾提示对齐与画质。

方法要点

官方列出两种基于最终奖励分数的微调方法：策略梯度与 PPO（带裁剪规则以限制过大变动）、以及奖励加权损失（直接优化路径）。框架提供四种结构：灰盒场景的 Diffusion Controller、无中间反向均值与侧适配流的朴素版本，以及两种白盒方案（联合训练记为 -J、分别训练记为 -S）。运行时可调节单个推理期引导强度参数来增减控制约束。

实验结果

实验以 Stable Diffusion v1.4 为基座，在 SFT、奖励加权损失与 PPO 三种设置下，用 HPS-v2 衡量与预训练模型的胜率。博客称灰盒版本的轻量网络在 SFT 与 RWL 设置下胜率超过 LoRA，且改动内部层更少；白盒联合训练版本对基座取得约 90% 胜率；人工评测中复杂多属性提示下的主观质量与提示匹配表现较好。

限制与待核实

以上为谷歌研究官方博客自述结果，实质为研究性工作，具体实现与完整基准仍需查阅其论文并独立复现；博客未说明代码、权重或商用可用性，也未给出成本数据。文中的「最佳」等表述属来源描述，不宜直接作为第三方定论。后续方向包括个性化、内容安全与视频模型控制，均属展望而非已验证结论。来源时间为 2026 年 9 月 29 日。