Apertus 1.5 发布：8B 与 70B 模型新增图像音频理解与思考模式

发布概况

Apertus 1.5 是在第一代 Apertus 1.0 基础上继续预训练的版本。8B 模型新增 4 万亿 token 的文本与多模态训练数据，总量达 19T；70B 模型新增 2 万亿，总量达 17T。更新后的 8B 与 70B 权重于 2026 年 7 月 24 日发布到 Hugging Face，采用 Apache 2.0 许可。官方发布说明时间为 2026 年 10 月 15 日。

主要变化

• 多模态理解：模型可直接接收图像与音频输入，可处理文档、图表和照片；语音处理仍属实验性。
• 思考模式：可切换为在回答前先推理，官方称对推理类问题表现有提升。
• 长上下文：上下文窗口增至 262,144 token，为 1.0 的 4 倍。
• 指令遵循：较 1.0 更准确、可预测。
• 工具使用：专门训练后能更有效地使用外部工具与 API。

模型只做多模态理解，输出仍为文本。多模态采用早期融合：图像经 Emu3.5 tokenizer 转为离散 token（512×512 图像约 1,024 token），音频经 WavTokenizer 转为每秒 40 token，与文本 token 在同一序列中处理，架构不变。

训练流程

预训练分四阶段：无配对数据学习新模态、图像–描述与音频–转写配对对齐、高质量数据冷却、上下文从 8k 逐步扩展到 262k。训练 token 中超过一半为纯文本，以保留原有语言能力。

后训练依次为 SFT、长上下文 SFT、RLVR、DPO 和章程对齐（SDPO，仅 8B）。工具使用数据仅限经执行验证的轨迹。

评测说明

官方称新版本在编程与指令遵循上有明显提升，8B 在指令遵循与多语言任务上优于同规模开放权重模型；思考模式可进一步提升 AIME 等推理基准表现。多模态表现接近 Gemma 4 12B 等当前开放权重模型。模型在瑞士法律任务上与领先开放权重模型相当，8B 在 Last Translation Benchmark 上的机器翻译表现与 GPT-OSS-20B 相当。官方同时表示整体仍落后于前沿开放权重模型。

评测采用 EvalEval 合作的 Every Eval Ever（EEE）格式发布结果，记录运行方、访问方式、生成设置和指标解读，文本评测可在公开的 lm-evaluation-harness 分支上复现。

可获取内容

Hugging Face 上提供基础权重、SFT、RLVR、DPO 等中间检查点，以及 SFT 数据混合和偏好数据；训练细节见技术报告（arXiv:2610.15542，预印本）。Proton Lumo 与 Infomaniak Euria 等应用已集成该模型，Swisscom、Infomaniak 等厂商宣布提供 API 访问。官方还公布了 Apertus 2.0 路线图，计划采用稀疏/MoE 架构、约 600B 总参数，重点面向智能体、数学与编程。