AirLLM v3.1.0 支持在单张消费级 GPU 上运行 Kimi K3

版本变化

AirLLM v3.1.0 于 2026-07-29 发布，核心内容是支持 Kimi K3（2.8T）在单张消费级 GPU 上运行。按发布说明中的实测，在单张 RTX 6000 Ada（48GB）上针对完整 1.56TB checkpoint 生成真实 token：

| 指标 | 数值 | | --- | --- | | 生成期间峰值显存 | 3.72 GB | | 初始化后峰值显存 | 0.83 GB | | 初始化（每进程一次） | 900 s | | 生成速度 | 292 s/token，受磁盘限制 |

显存占用低于 671B 模型的原因

Kimi K3 属于稀疏 MoE 模型：每层有 896 个专家，每个 token 路由到其中 16 个。整层展开后专家约 55GB，但单个 token 只需约 1GB，AirLLM 按 token 逐次加载所需专家，而不是一次性加载整层。此外，MXFP4 权重以打包形式经 PCIe 传输，再在 GPU 上展开，从而把传输的数据量减少到约四分之一。磁盘方面，项目只把拆分的层与原始文件做硬链接，没有复制，从而避免为 1.56TB 的模型占用 3.12TB 磁盘空间。

运行前置条件

发布说明列出了三项强制要求：

• 安装 airllm compressed-tensors flash-attn；其中 flash-attn 是必需的，因为 K3 的模型代码会覆盖所请求的注意力实现。
• 使用 CUDA 12 构建的 torch，因为目前还没有面向 CUDA 13 的 flash-attn 预编译 wheel。
• 使用 transformers 4.56.x，因为 K3 的远程代码无法在 5.x 上加载。

其他修复

同一版本还包含四项来自 K3 工作、但并非 K3 专属的修复：当参数未实际实例化时，采用 checkpoint 的形状；为 forward 直接读取普通 weight 的模块展开打包权重；兼容 compressed-tensors 不同版本中 scheme.format 既可能是枚举也可能是字符串的情况；把注意力实现传递到嵌套子配置，以覆盖多模态封装器中的解码器。完整细节见发布说明引用的 #316。