FLUX.3 Image Klein 加入 Diffusers：支持布局框控制与多参考图编辑

Hugging Face 博客 2026 年 10 月 15 日发文，Black Forest Labs 的开放图像生成模型 FLUX.3 Image Klein 当天即可在 Diffusers 中运行。一个模型覆盖文生图、多参考图生图和新增的布局控制：在提示词里写入边界框来指定各区域的位置，或指定参考图中某部分移动到哪里。

两个开放检查点

• flux-3-image-klein：时间步蒸馏版，面向快速推理，默认 16 步、不使用 CFG。
• flux-3-image-klein-base：基座模型，默认 50 步、使用 CFG，适合做微调。

博客称蒸馏版在 H100 上约 2 秒生成一张 1024 × 1024 图像。使用时安装最新 diffusers 与 transformers（Qwen3-VL 文本编码器需要），通过 ModularPipeline 加载并调用。

功能要点

• 文生图：建议用包含主体、场景、光线、构图与风格的完整描述；可传 height、width、num_inference_steps 调整。
• 图生图：通过 image 参数传入一张或多张参考图，提示词中按顺序用 <ref_image_0>、<ref_image_1> 等引用。
• 布局控制：在描述后附 JSON 区域列表，每项含 id、bbox、desc；框格式为 [y_min, x_min, y_max, x_max]，采用 0–1000 归一化坐标，因此同一框在不同尺寸下通用。
• 编辑移动：区域可用 src_bbox 与 tgt_bbox 分别表示在参考图中的来源位置和输出中的目标位置。

量化与单文件加载 官方另提供单文件 transformer，含 bf16、fp8r（逐行 FP8）和 nvfp4 三种形式，用 from_single_file 加载，再按名称加载其他组件以避免重复下载 bf16 权重。博客说明 fp8r 的快速内核适用于计算能力 8.9+ 的 GPU，其他 GPU 上每步反量化、内存更低但无加速；nvfp4 需要 Blackwell 以及同版本 flashinfer-python 与 flashinfer-cubin。

微调与性能 Diffusers 提供文生图与指令式图像编辑两套 DreamBooth LoRA 训练脚本，也可用 Ostris 的 AI Toolkit。博客给出降低显存的选项：gradient_checkpointing（反向重算激活，显存更低、稍慢）、cache_latents（预编码图像并释放 VAE）、8bit Adam 优化器状态。

显存方面，博客列出加载后与推理后的峰值分配：nvfp4（RTX6000）13.4 / 15.3 GiB，fp8r（H100）14.35 / 16.27 GiB，bf16（H100）18.80 / 20.72 GiB；自动 CPU offload 方案未做基准测试。速度测试在单张 H100 80GB、无 offload、默认注意力后端下取三次平均：文生图 1024 × 1024 为 1.93 秒，单张 1024 × 1024 参考图的图生图为 3.87 秒，1360 × 768 的布局编辑为 4.10 秒，峰值显存均为 23.8 GiB。

架构说明 FLUX.3 是潜空间流匹配模型，沿用 Flux.2 的 VAE 架构：8 倍压缩到 32 通道，每 2 × 2 patch 打包成一个 128 通道 token，即一个 token 覆盖 16 × 16 像素。文本编码器为 Qwen3-VL，取 36 层中 8 层的隐状态堆叠后投影到 3072 维。transformer 分两阶段：先是各模态独立的 5 个块，再将文本、图像、参考图拼接为一条序列经过 28 个共享权重块；参考图与输出共用 (h, w) 坐标，这正是 src_bbox/tgt_bbox 编辑的基础。文本与参考 token 始终按时间步 0 调制，噪声图像 token 按当前时间步调制。

流水线以 Modular Diffusers 形式发布，可列出 text2image 与 image_conditioned 两条工作流、取出文本编码器单独编码以复用嵌入，或在去噪循环中插入自定义块（例如记录每步的 x0 预测）。

以上信息来自官方博客，具体安装与调用以文中代码和官方文档为准。