LLaMA-Factory 微调框架功能与更新概览

用途与整体能力

根据项目 README，LLaMA-Factory 面向大语言模型和多模态模型的微调与训练，宣称可通过零代码 CLI 和基于 Gradio 的 Web UI 操作，覆盖 100 多个模型。支持的任务包括连续预训练、多模态监督微调、奖励建模，以及 PPO、DPO、KTO、ORPO 等偏好优化方法。

资源与算法支持

资源方面列出 16 位全参数微调、冻结微调、LoRA，以及基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2 至 8 位 QLoRA。算法与技巧包括 GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT、DoRA、LoRA+、PiSSA、FlashAttention-2、Unsloth、Liger Kernel、RoPE scaling、NEFTune 等。推理侧支持 vLLM 和 SGLang 后端，并提供 OpenAI 风格 API。

近期变更记录

来源变更日志列出若干日期条目：2025 年 10 月 26 日支持 Megatron-core 训练后端（mcore_adapter）；2025 年 8 月 22 日支持 OFT/OFTv2；2025 年 8 月 20 日和 8 月 6 日分别支持 Intern-S1-mini 与 GPT-OSS 微调。更早条目包括 Qwen3、Llama 4、Gemma 3、DeepSeek-R1 等模型适配，以及 Muon、APOLLO 优化器和 SGLang 后端。这些日期是来源记录的时间，不代表当前状态。

适用场景

适合需要在多种开源模型上尝试不同微调方法、偏好优化或量化训练的研究与工程场景，也适合用 Web UI 降低操作门槛的团队。

限制与待核实

来源页面内容不完整，模型支持表在 GPT-2 之后被截断，部分功能细节无法确认。README 中的性能倍数（如推理加速 270%、Unsloth 训练速度 170%）为项目自述，未在本次整理中验证。安装命令、硬件需求和实际效果应以最新官方文档为准。