AirLLM v4.0.0：以流式 LoRA 在 6GB 显存下训练 Qwen3.8-Flash-Next

版本变化

AirLLM v4.0.0 的发布说明介绍了 Streamed LoRA 的训练方式：模型原有的冻结权重继续留在磁盘上，只把 LoRA 适配器放到 GPU 显存中，从而降低训练所需的显存占用。

发布说明给出的显存条件

• Qwen3.8-Flash-Next：可在 6GB 显存的 RTX 3060 Ti 上训练。
• Qwen3.8-27B：在序列长度 512 时显存占用约为 2GB。

以上数据均为发布说明中的表述，具体表现取决于所用模型、数据与配置。

安装与训练方式

发布说明列出的前置操作为：

• pip install -U airllm
• 从 Hugging Face 的 transformers 仓库安装开发版本

示例脚本 air_llm/examples/train_qwen38_flash_next_lora.py 通过 --data 指向 JSONL 数据文件，支持两种记录格式：{"text": "..."} 或 {"prompt": "...", "completion": "..."}。脚本还提供 --seq-len、--epochs 和 --save-adapter 参数，分别用于设置序列长度、训练轮数和适配器保存路径。

已知限制

发布说明指出，Qwen3.8-Flash-Next 目前仍依赖 transformers 代码树内的 qwen4_exp，即需要 GitHub 上 transformers 主分支的版本。