从零构建大语言模型：教材与配套代码的知识结构

定位

《Build a Large Language Model (From Scratch)》是一本以代码实践讲解大语言模型内部原理的教材，仓库为其官方配套代码。书中方法用于教学，训练的是小型但功能可用的模型；原文称其思路与 ChatGPT 这类大规模基础模型的构建方式相近。

章节主线

• 第 1 章：理解大语言模型（无代码）
• 第 2 章：处理文本数据
• 第 3 章：实现注意力机制
• 第 4 章：从零实现 GPT 模型
• 第 5 章：在无标注数据上预训练
• 第 6 章：微调做文本分类
• 第 7 章：微调以遵循指令
• 附录 A 介绍 PyTorch；附录 C 汇总习题解答；附录 D 为训练循环的附加功能；附录 E 用 LoRA 做参数高效微调

前提与硬件

原文列出的最关键前提是扎实的 Python 基础；有深度神经网络经验会更易上手。代码用 PyTorch 编写，不使用外部大模型库，PyTorch 熟练并非硬性要求，附录 A 提供入门。主章节代码设计为可在普通笔记本上于合理时间内运行，不需要专门硬件；若存在 GPU 会自动使用。

附加材料

仓库另设可选内容，包括从零实现字节对编码（BPE）分词器、高效多头注意力实现比较、KV 缓存、分组查询注意力、多头潜在注意力、滑动窗口注意力、混合专家，以及 Llama 3.2、Qwen3、Gemma 3 等模型架构的从零实现，还有 DPO 对齐、指令数据集生成与评估等 notebook。

阅读边界

这是一份教材与代码资源，不是有日期的产品发布说明；原文未给出各章节的训练耗时、效果指标或附加模块的维护状态。