Granite 4.2 系列：密集推理模型如何构建与训练

2026 年 8 月 25 日，IBM Granite 团队在 Hugging Face 博客介绍了 Granite 4.2 的构建方式。这是该家族首个稠密、仅解码器的推理模型系列，提供 3B、8B、30B 三种规模，均从 Granite-4.1 基座后训练而来，以 Apache 2.0 许可发布。

架构与预训练：模型采用 GQA（40 个注意力头、8 个 KV 头）、RoPE（θ=10,000,000）、SwiGLU 与 RMSNorm，精度 bfloat16，序列长度 131072。三个规模的嵌入维度、层数与头数不同。Granite-4.1 基座约用 15T token 从零预训练，分五阶段，最后一阶段将上下文扩展到 512K token。

SFT 数据：训练混合约 720 万样本、约 100B token（约 65B 可训练），其中智能体数据占 31.6%，以软件工程（69%）为主，其次为工具调用、终端、数学等；非智能体数据覆盖指令跟随、编码、数学、多语言等。数据经 LLM 评判过滤、启发式规则及 SHA-256 去重。30B 还额外进行一轮偏重智能体编码的第二阶段 SFT。

强化学习：采用异步 GRPO 与分组相对优势，训练栈为 NeMo-RL（Megatron-Core + vLLM）与 NeMo-Gym。课程依次为 RLVR、技能增强、SWE、终端、搜索、RLHF；3B 不经过智能体 RL 阶段。SWE、终端、搜索均在真实沙箱环境中以稀疏结果奖励训练。

评测与量化：原文给出各尺寸在 SWE-Bench、Terminal-Bench、AIME25、GPQA、MMLU-Pro、RULER 等基准上的分数，整体随规模上升。另提供 FP8、NVFP4、MXFP4 与多种 GGUF 量化版本。支持语言包括英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。