Meta 发布 Muse Glimmer 30B：面向本地智能体场景的开源多模态模型

发布概况

Meta 于 2026 年 8 月 10 日发布 Muse Glimmer，这是一个多模态模型，定位为本地智能体（agentic）场景。它从 Muse 蒸馏至 30B 参数，采用 Apache 2.0 许可，官方称适合隐私敏感应用，例如编码、文档分析、个人助理类搭建。

Hugging Face 同步宣布 transformers、llama.cpp、vLLM、Inference Endpoints 等库的首日支持，并发布配套演示。

架构

• 模型为稠密 30B 参数：2B ViT 风格视觉编码器（Perception Encoder）+ 28B 文本解码器。
• 文本解码器采用混合注意力：三层 2,048 token 滑动窗口 + 一层全注意力（NoPE），该模式重复 13 次，共 52 层；使用 Gated Grouped-Query Attention，每个 KV 头由 16 个查询头共享，官方称可将 KV-cache 内存降低 16 倍。
• 视觉编码器统一处理图像与视频，含 50 层，注意力同样为三窗口加一全注意力，使用 2D RoPE；经 pixel shuffle 将图像 token 数减少 4 倍。
• 视频按帧处理，处理器目标每秒 2 帧，单段最多均匀采样 96 帧，仅处理无音频视频。
• 另提供基于 DFlash 的推测解码草稿模型，可选启用，以额外内存换取更快生成，官方称其尤其适合编码等结构化输出。

基准结果（按原文发布分数）

与 Gemma4-31B、Qwen3.6-27B 的思考模式对比中，Muse Glimmer-30B 在 MCP Atlas（75.5）、DeepSearch QA（74.6）、SWE-Bench Pro（51.2）、SWE-Bench Verified（76.0）、Charxiv Reasoning（78.8）、IFBench（77.0）、AIME 2026（94.7）、AA-LCR（80.0）等项较高；但在 GDPval-AA（953）、OSWorld-Verified（65.9）、TerminalBench 2.1（51.7）、GPQA Diamond（83.5）、Humanity’s Last Exam（22.0）等项低于部分对比模型。安全类指标为违规率或攻击成功率，越低越好，需按各自口径解读。

使用与部署要点

• transformers：需升级至最新版本，使用 AutoProcessor 与 AutoModelForMultimodalLM 加载；图像需安装 torchvision，视频建议安装 torchcodec。支持文本、图像、视频推理，以及多模态工具调用与开放词汇目标检测。
• llama.cpp：提供 GGUF 权重与校准量化，可由 llama serve 启动服务；推测解码需指定 --spec-draft-n-max，DFlash 块大小为 16（1 个锚点 + 15 个候选），超过 15 会被截断到 15。
• vLLM：本版本通过 transformers 后端支持，示例使用张量并行。
• Inference Endpoints：提供托管预设，部署后暴露 OpenAI 兼容 Chat Completions API。
• 微调：原文给出 TRL 的显存参考，例如 BF16 推理/评估需 1×80GB H100，LoRA SFT 在同配置下需 micro-batch 1 加 checkpointing，全量 SFT 需 8×80GB H100 配 FSDP/ZeRO-3；LoRA GRPO 配独立 vLLM rollout 服务器需 8 张 H100（4 张 rollout + 4 张训练）。

原文还展示了让模型自行量化并本地部署、或自行部署到 Inference Endpoints 的 AGENTS.md 提示示例，以及接入 OpenClaw 的配置方式。以上显存与硬件数字均为原文给出的实验条件，不代表通用最低要求。