从零构建大语言模型（官方代码仓库）

能做什么

• 提供配套《Build a Large Language Model (From Scratch)》一书的代码，按章节演示从零构建 GPT 类大语言模型的完整流程。
• 覆盖文本数据处理、注意力机制实现、GPT 模型实现、无标签数据预训练、文本分类微调、指令跟随微调等主题。
• 附带 PyTorch 入门附录、练习解答以及 LoRA 参数高效微调等扩展内容。
• 包含加载较大预训练模型权重以进行微调的代码。

适用场景

• 学习大语言模型内部原理与实现细节。
• 作为课程或自学材料，按章节逐步动手实践。
• 在普通笔记本上运行主要章节代码进行教学实验。

使用条件与限制

• 需要较强的 Python 编程基础；有深度神经网络经验更易理解。
• 代码使用 PyTorch 从零实现，不依赖外部 LLM 库；不要求精通 PyTorch，但熟悉基础会有帮助。
• 主要章节代码设计为可在常规笔记本上于合理时间内运行，并在有 GPU 时自动使用。
• 仓库主要用于配合纸质书，维护者说明暂不接受扩展主章节代码的贡献。