Happy-LLM：从零构建大模型的开源中文教程

项目定位

Happy-LLM 是 Datawhale 开源的系统性 LLM 学习教程，目标是帮助读者理解大语言模型的架构基础与训练过程，并结合主流的代码框架，让读者亲手搭建和训练一个 LLM。

内容结构

教程分两部分：

• 基础知识（第 1～4 章）：NLP 基本概念与发展、Transformer 架构与注意力机制及代码实现、预训练语言模型（Encoder-only、Encoder-Decoder、Decoder-Only 三种架构对比）、LLM 的定义、训练策略与涌现能力。
• 实战应用（第 5～8 章）：基于 PyTorch 实现 LLaMA2、训练 Tokenizer 与预训练小型 LLM；借助 Transformers 框架实践预训练、有监督微调与 LoRA/QLoRA 高效微调；模型评测、RAG 检索增强与 Agent；以及 GRPO、OPD、Search-R1 与 ReTool 等 Agentic RL 内容。

另设 Extra Chapter，收录社区贡献的大模型学习笔记，目前处于持续更新状态。

配套资源

• 在线阅读地址与 PDF 版本（标注为开源免费，PDF 内含 Datawhale 水印）
• 配套教学讲义 PPT，可另行获取或在 Releases 页面下载
• 第 5 章产出的 Base 与 SFT 两个 215M 模型，发布在 ModelScope，并提供创空间体验入口

使用前提

项目建议读者具备一定的 Python 编程经验，最好有深度学习和 NLP 相关基础。若复现代码，需先阅读“学习与环境准备”文档；仓库按章节拆分依赖，不同章节建议使用独立的 Python 环境以减少版本冲突。具体硬件建议与分章依赖见该文档，页面本身未展开说明。