AirLLM 低显存大模型推理与微调库

能做什么

• 以逐层方式将模型权重从磁盘加载到 GPU，运行时只保留少量层驻留显存，从而降低推理所需显存。
• 通过 AutoModel.from_pretrained(...) 自动识别模型类型，支持 Llama、Qwen、DeepSeek、Mistral/Mixtral、Phi、Gemma、ChatGLM、Baichuan、InternLM、Yi、Kimi K3 等家族中说明列出的模型。
• 支持 4bit/8bit 的块级量化压缩，用于减小加载体积并加快推理速度。
• 提供 LoRA 微调接口与示例脚本，冻结的基础权重逐层流式读取，仅适配器常驻显存。
• 支持 CPU 推理、macOS（Apple 芯片）运行，以及为门控模型提供 Hugging Face token。

适用场景

• 显存有限的单卡环境运行或试验较大的开源语言模型。
• 在低显存设备上对超大模型进行轻量 LoRA 微调。
• 需要以统一接口加载多种模型家族进行推理或适配实验。

使用条件与限制

• 需要安装 airllm Python 包，并根据模型与功能安装 bitsandbytes、transformers、torch 等依赖；部分新模型对 transformers 版本、CUDA 版本或额外包有特定要求。
• 推理前会将原模型按层拆分并保存，需要预留充足磁盘空间；可用 delete_original 删除原始下载以节省空间。
• macOS 仅支持 Apple 芯片，并需安装 mlx 与 torch。
• 显存占用取决于单层大小而非模型总参数量；具体数值以项目说明中的实测描述为准，本条目不做额外保证。
• 训练支持并非 Hugging Face Trainer / bitsandbytes QLoRA，部分模型需要特定 transformers 构建。