Transformers 5.17.0 新增模型与视觉 RoPE 破坏性变更

Transformers 于 2026 年 9 月 10 日发布 5.17.0，内容包括新模型接入、破坏性变更和多类缺陷修复。

新增模型

• HYV4（Hy4-Preview）：780B 参数 MoE 语言模型，每 token 激活 49B 参数；每层 256 个路由专家加 1 个常驻共享专家，每 token 路由至 8 个专家，上下文窗口 1M tokens。架构组合 MLA、DeepSeek 稀疏注意力（按 indexer_types 区分 full/shared 层）、带可学习注意力 sink 的门控 MLA，以及独立超连接（iHC）。实现不执行多 token 预测层，但加载时保留权重供其他运行时用于投机解码。
• VibeVoice：面向多说话人长语音合成的框架，在 LLM 结构内采用下一 token 扩散方法，用于播客、多人有声书等音频内容。
• NeoMME：260M 与 800M 参数的多模态原生多语言基础编码器，在单一双向 Transformer 中处理文本 token 与图像 patch，无独立视觉塔或因果语言模型。NeoMME-Retriever 在此基础上微调，用于视觉文档检索，输出用于 MeanMaxSim 的多向量嵌入和用于余弦相似度的平均池化嵌入。
• Fun-ASR-Nano：阿里达摩院 FunAudioLLM 团队开发的 800M 参数端到端语音识别模型，支持中文、英文、日文（含 7 种中文方言、26 种地区口音）、热词定制和原生标点输出。
• KimiLinear：Moonshot AI 的混合线性注意力架构，核心为 Kimi Delta Attention，每个 key 通道拥有独立遗忘门；多数层使用 KDA，每第四层保留复用 DeepSeek-V3 MLA 的全注意力块，前馈块为带共享专家的 MoE。
• Canary-1B-v2：面向 ASR 与语音翻译的模型，复用 Parakeet 的 Fast Conformer 编码器，搭配 Transformer 解码器，通过解码器提示前缀选择转录或翻译任务。
• NeuCodec：神经音频编解码器，基于 XCodec2 扩展，采用 FSQ 单码本；公开说明为 50 tokens/秒、每 token 16 位，合计 0.8kbps，输入 16kHz、经上采样解码器输出 24kHz，训练数据无商用限制。

破坏性变更

视觉 2D/3D 旋转位置编码被统一为集中的 RoPE 频率计算模块；依赖注意力层级或模型专用 RoPE 网格交错逻辑的自定义视觉模型需迁移到 modeling_rope_utils.py 的新实现。

其他修复

生成方面：避免每个解码步骤都同步加速器，并阻止生成时无条件下载远端 hub 文件。缓存方面：修复 VibeVoice 量化缓存、VoxtralRealtime 拒绝非静态缓存、无缓存调用分页注意力时静默失败等问题。内核方面：改进仅安装 fla-core 时的嵌套 FLA 导入，并在 hub 内核回退到 PyTorch 参考实现时给出警告。量化方面：修复 Qwen 模型 FP8 嵌入处理、FP8 张量并行层覆盖及 XPU 上 MXFP4 权重的问题。

注意：原文为截断的发布说明，未涵盖完整变更清单。