生成式 AI 与大语言模型入门：从技术演进到 Transformer 原理

生成式 AI 是什么

生成式 AI 指能够生成文本、图像等内容的人工智能。它的特点之一是降低使用门槛：用户只需用自然语言写出提示，不必先学 Java、SQL 等编程语言，就能让模型给出结果。课程以一家虚构教育创业公司为场景，讨论用大语言模型（LLM）改善学习可及性与个性化学习的设想。

技术演进脉络

• 早期聊天机器人：依赖从专家处提取并存入计算机的知识库，由输入文本中的关键词触发答案；这种方式难以扩展。
• 机器学习：90 年代起，统计方法被用于文本分析，模型可从“文本—标签”配对数据中学习模式，对未知文本分类。
• 神经网络与深度学习：硬件能力提升后，神经网络尤其是循环神经网络（RNN）增强了自然语言处理，能更好地结合句子上下文表示词义，也是早期虚拟助手的技术基础。
• Transformer：以注意力机制为核心，克服了 RNN 处理长文本的局限，可对不同输入分配不同权重，更关注信息集中的部分，而不受其在序列中位置的限制。当前多数生成式 AI 模型基于该架构，并在大量来自书籍、文章、网站的无标注数据上训练。

按原文的层级关系，生成式 AI 可视为深度学习的一个子集。

大语言模型如何工作

原文以 OpenAI GPT（Generative Pre-trained Transformer）为例说明三个环节：

1. 分词：模型是统计模型，处理数字优于文本，因此输入先经分词器切分为 token 数组，每个 token 映射为整数索引。token 是字符数不固定的文本片段。 2. 逐 token 预测：给定若干输入 token（上限因模型而异），模型预测一个输出 token，再将其并入下一轮输入，形成扩张窗口，逐步生成句子。这也是回答有时看似在句中停住的原因。 3. 概率选择：模型基于训练得到的所有可能“下一 token”的概率分布进行选择，但未必总取最高概率项；选择中加入随机性，使相同输入不保证相同输出，该随机程度可通过 temperature 参数调节。

提示词与常见任务

模型输入称为提示词（prompt），输出称为补全（completion）。原文列举的提示词形式包括：说明输出类型的指令（可附带示例或数据）、对话式提问、待补全的文本片段，以及代码加解释或生成代码的请求。对应任务涉及摘要与信息提取、创意写作、对话、写作辅助和编程辅助。原文强调这些只是简单示例，并非能力穷举。

边界与限制

原文明确指出生成式 AI 并不完美：它不具备包含批判性、创造性推理或情商在内的完整智能；输出是非确定性的，也不完全可信，可能把虚构的引用、内容和陈述与正确信息混合，并以自信的口吻呈现。课程后续将讨论这些局限及缓解方式。

课程自测题给出的结论是：大语言模型对同一提示的回答可能变化，适合产出文本或代码的初稿，但仍需人工改进。