Transformers v5.20.0 发布：新增多款模型与导出量化支持

新增模型

• Muse Spark Open：Meta 的多模态混合专家模型，输入支持文本、图像、音频和视频，输出文本。总参数 816B，每 token 激活 42B，上下文窗口最高 1,048,576 token，跨模态共享；面向多文件编辑、调试、工具调用等智能体编程任务训练，提供 BF16 与 NVFP4 检查点。
• Ling 3.0 Flash：InclusionAI 的混合 MoE 语言模型，解码器将 5 个 Kimi Delta Attention 层与 1 个 MLA 层分组。原生支持类为 BailingHybridForCausalLM，无需 trust_remote_code=True 即可加载。
• Kolibri 1：Aleph Alpha 的 MoE 推理模型，侧重德语和英语。50 层每层通过 sigmoid 路由将 token 分配到 384 个专家中的 6 个，另加 1 个共享专家；4 层滑窗注意力与 1 层全注意力交替，RoPE 仅用于滑窗层。
• MiniCPM-V 4.7：架构与 4.6 相同（SigLIP 视觉编码器加 Qwen3.5 语言骨干，支持 4x 与 16x 视觉降采样），主要新增 canvas M-RoPE，为每个视觉 token 赋予 (temporal, height, width) 位置。
• UnlimitedOcr：百度 3B 参数 OCR 模型，上下文 32,768 token，基于 DeepSeek OCR，将解码器注意力全部替换为 R-SWA 以保持 KV 缓存恒定；支持 “gundam”（640x640 分块动态裁剪）与 “base”（单张 1024x1024）模式，并可输出带边界框的区域检测。
• UltraBERT：双向文本编码器系列，面向分类与检索，序列最长 32,768 token；检查点含 UltraBERT-150M、UltraBERT-380M 与 UltraBERT-Embed-150M。
• MOSS-Transcribe-Diarize 0.9B：端到端长音频理解模型，单次前向同时输出转写与说话人分离，段格式为 [start][S01]text[end]，支持热词偏置与 50 多种语言。

破坏性变更

• 移除 cache_utils.py 中废弃的检查与方法，相关代码需改用当前缓存 API；来源同时提示 EP 推理存在速度回退，正在修复。
• 移除多个模型文件中对其他模型的意外导入，如需这些名称应从原模块导入。
• kernels 最低版本升至 0.17.2，以支持 use_fallback=KernelizeFallback.ALL。
• 新增 SubConfigSpec 集中初始化子配置，自定义嵌套配置可能需要适配。
• LUKE 与 mLUKE 分词器现将 <ent> 等实体特殊 token 视为特殊 token，涉及这些 token 的编解码输出可能变化。

导出、并行与修复

导出器支持在 Dynamo、ONNX、OpenVINO、ExecuTorch 导出过程中直接量化，统一 API 整合 PT2E、ONNX Runtime 与 NNCF，支持静态/动态量化及 INT8/INT4 权重压缩。分布式方面，FSDP × TP 检查点可跨不同并行配置保存与加载，并修复专家并行分发、静态缓存 generate() 等问题。此外，flash_attention_2 在未安装 flash-attn 的 ROCm 上回退至 AITER 内核；图像解码改用 torchcodec。