Reflection 发布 501B 开源 MoE 模型 Beam

模型概述

2026 年 10 月 16 日，美国新实验室 Reflection 在 Hugging Face 发布其首个开源模型 Beam。Beam 是仅支持文本输入输出的混合专家（MoE）模型，总参数 501B，每个 token 激活约 23B 参数，上下文窗口 1M token，采用 Apache 2.0 许可证，定位为编程与智能体任务，面向希望在自己的硬件或云上部署并定制的团队。

架构与规格

• 层与专家：52 层，隐藏维度 5120；前 3 层为稠密 SwiGLU MLP，其余 49 层为包含 256 个专家的 MoE，每 token 路由 8 个专家，专家参数约占总量的 98.4%。
• 注意力：43 层使用 512 token 滑动窗口注意力，9 层（每第 6 层及最后一层）使用全局注意力；全局层不做位置编码，改用随可见 token 数缓慢增长的缩放因子。注意力为分组查询注意力，48 个查询头、8 个键值头。
• 残差流：第 k 步以 1/√k 权重加入子层输出，使各层输出在最终隐状态中权重相同，保持流尺度稳定。
• 推理控制：支持 preserve_thinking 跨轮保留推理，推理档位有 low、medium（默认）、high、xhigh、max 五档；工具调用使用专用语法，分词器内置响应模板。
• 检查点：提供 BF16（约 1 TB）、FP8、NVFP4 三种格式；NVFP4 将大部分权重存为 4 位，体积约 280 GB。

部署与推理支持

Beam 在 transformers、SGLang、vLLM 上获得首日支持，并附带基于 Rust 的专用 harness。

• 硬件：NVFP4 检查点需 Blackwell 架构 GPU，可在 4 块 B300 上运行；FP8 检查点适合 Hopper 与 Ampere，例如 8 块 H200。官方建议用 4 块 B200 以给长上下文和并发请求留出显存余量。
• 多卡与多节点：transformers 配置了专家并行方案，可用 torchrun 跨 16 块 H200 启动；设备数需能整除专家数 256。
• vLLM：可用张量并行 16 卡启动 OpenAI 兼容服务，并可加入 DFlash2 推测解码草稿模型以加速。
• SGLang：提供 Blackwell（NVFP4、trtllm_mha）与 Hopper（FP8、fa3）两套启动示例，均启用 DFlash2。
• 托管服务：模型已在 Hugging Face Inference Providers 上线（由 Baseten、Fireworks、Together 提供），也可通过 Inference Endpoints 一键部署。

基准与测试

Reflection 提供的基准覆盖智能体编程、推理、工具调用和通用能力，BF16、FP8、NVFP4 三种精度结果接近，例如 SWEBench Verified 分别为 81.6%、80.2%、80.7%，GPQA Diamond 分别为 90.6%、90.3%、89.3%。此外，Hugging Face 团队在五个任务上做了低/高推理档的“感觉评测”，并明确指出这不是正式基准，完整输入输出与评分记录已公开。

后训练

• SFT：TRL 的 SFTTrainer 配合 LoRA 适配器，在 8 块 B300 单节点上达到约每秒 19,000 token；官方称一次多语言思考数据训练后，16 个留出提示中有 16 个按用户语言推理（基座模型为 3 个），该评估只测语言遵循而非推理正确性。
• RL：Miles 提供 BF16 下的 GRPO 配方，支持全参数或 LoRA；全参数 GRPO 参考配置为 96 块 H200（64 训练、32 rollout）。

社区激励

Reflection 将为最佳 Beam 项目提供 10,000 美元 Hub 额度，参与者可在 Hub 分享 Space、量化模型、合成数据集、RL 环境或基准测试结果。