大语言模型 原理

注意力机制让神经网络按相关程度为输入各部分分配权重。自注意力（self-attention）将其用于序列内部，是 Transformer 的核心运算。

RLHF 让模型朝人们偏好的方向改进：先由人类比较模型输出，训练出奖励模型（reward model），再用强化学习让主模型在它上面得分更高。这已成为构建聊天助手的标准步骤。

Transformer 是2017年提出的神经网络架构，用自注意力取代了循环和卷积结构，今天大多数大语言模型都以它为基础。

预训练（pre-training）用海量无标注文本训练大模型，微调（fine-tuning）用少量标注数据使其适应具体任务。

检索增强生成（RAG）让语言模型在回答前先从外部库中取回相关文档并放进提示词，从而用上训练数据之外的知识，也能标出答案的来源。

缩放定律是一种经验规律：语言模型的测试损失会随参数量、数据量和训练算力增加而按幂律平稳下降。它帮助实验室规划大规模训练，也解释了行业对数据中心和 GPU 的竞相投入。

思维链是让语言模型在回答前先写出中间推理过程的方法。推理模型在此基础上，用强化学习训练模型在回复前进行较长的内部思考，是近年大语言模型的重要方向。

AI 智能体指能感知环境、为达成目标自主行动的系统，范围从恒温器这样的简单装置一直到由大模型自行决定流程与工具调用的软件。

量化把语言模型的权重和激活值用更低的数值精度存储，从而降低推理所需的内存和带宽。LLM.int8() 与 GPTQ 等方法让超大规模模型能够跑在远小的硬件上。

幻觉（hallucination）指模型把虚假或误导性的信息当作事实陈述出来。它是生成式人工智能最典型的失效方式之一，也是人们难以直接信任模型输出的主要原因。

对齐指让模型的行为符合用户和设计者的真实意图，而不只是训练目标字面上奖励的东西；用人类偏好比较来训练模型，是目前一条实用路线。

循环神经网络（recurrent neural network，RNN）通过反馈连接，把序列中前一步的信息带到下一步。其变体 LSTM 专门用于在更长跨度中保留记忆。

分词（tokenization）把文本切成语言模型真正处理的词元；今天多数系统用字节对编码（BPE）实现，这一 1994 年的压缩算法在 2015 年被引入机器翻译。

词嵌入（word embedding）把每个词表示为一组从文本中学得的数字，用法相近的词得到相近的数字组合。它是现代语言模型的基本组成部分之一。

混合专家（MoE）模型包含许多子网络，却只把每个词元交给其中少数几个处理。这样总参数量可以很大，而每个词元的计算量仍远小于总量。

张量核心（Tensor Core）是 NVIDIA GPU 内部的专用单元，一步完成小矩阵的乘加运算，让神经网络训练与推理背后的矩阵算术大幅加速。

上下文学习指大语言模型只凭提示词里的指令和少量示例就能完成新任务，不更新任何权重。GPT-3 论文命名并系统研究了它，把适配任务的方式从微调转向写提示词。

LoRA（低秩适配）是一种高效微调方法：冻结预训练模型权重，只训练新加入的低秩矩阵，从而大幅减少可训练参数与显存开销，效果接近全量微调。

指令微调是一种监督微调，用来让大语言模型学会听从用户指令；FLAN 论文表明它能显著提升模型在未见任务上的零样本表现。

宪法式 AI（Constitutional AI）是 Anthropic 在 2022 年提出的训练方法：用一套书面写明的原则（即「宪法」）塑造模型行为，而不是依赖人工标注有害输出。

直接偏好优化（DPO）是一种用人类偏好数据微调语言模型的方法，训练目标接近监督学习，省去了单独训练奖励模型和强化学习循环的步骤。

提示注入（prompt injection）指模型输入里的文字压过原本的指令和外围控制，让攻击者劫持整个应用；2023 年的研究进一步指出，恶意内容可以藏在应用自己检索到的资料里。

Llama 社区许可证是 Meta 为 Llama 3 模型定制的授权协议：允许免费使用和修改，但附带用途限制、署名义务和按用户规模设定的门槛，因此不符合通常意义上的开源定义。

测试时计算指模型答题时额外投入的算力，而非训练阶段已固化在参数中的算力。Snell 等人 2024 年 8 月的研究表明，按题目难度分配这份算力，能让小模型在同等总计算量下胜过大得多的模型。

红队测试（red teaming）指在模型部署前主动试探它，看它会不会做出有害或不被期望的行为。2022 年 Perez 等人提出用一个语言模型为另一个语言模型自动生成测试用例的方法，把这件事部分自动化了。

越狱（jailbreak）是用对抗性提示让经过安全训练的模型做出其训练本应阻止的行为。Wei 等人在 2023 年 7 月的一篇分析中，把这类失败归因于目标冲突与泛化不匹配两种失效模式。

上下文窗口（context window）是模型生成回答时能够参照的全部文本，以 token 计量，回答本身也计入其中。窗口的大小，以及模型能否均匀地用上窗口内容，共同决定了它实际能做什么。

长上下文指模型一次能接收并加以利用的大量输入，如今可达数百万词元；但窗口大不等于用得好，能否在长输入中准确定位信息是另一回事。

键值缓存把模型为先前 token 算出的键和值保存下来，生成新词时直接复用而不重算。它的显存占用是决定一台服务器能同时服务多少请求的关键。

提示工程是设计输入文本、引导生成式人工智能产出目标结果的实践。统一的术语和思维链提示等技术，让提示方法更容易描述、比较和复现。

合成数据是由模型生成、而非从人或从网上收集的训练材料。phi-1 的实验显示，混入模型生成的「教科书」后，一个小规模代码模型也能在代码基准上取得不错的成绩，说明数据质量本身影响能力。

工具调用让语言模型把算术、查找资料这样的子任务交给外部程序，再把返回结果写进回答。2023 年的 Toolformer 展示了模型可以自己学会何时调用、如何调用工具。

规划（planning）是 AI 智能体（agent）把目标拆成中间步骤、决定下一步行动，并根据结果调整方案的过程，而不是一次给出答案。[^1][^2]

基准污染（benchmark contamination）指模型被评测的题目或与之接近的变体本来就出现在它的预训练数据里，于是分数部分反映的是对已见文本的记忆，而不是基准想测的能力。

推测解码是一种加速大模型文本生成的算法：小模型先提出若干候选词，大模型对这些候选并行检查，在输出完全不变的前提下更快地生成。

文本水印是在语言模型生成的文字里嵌入一种人看不见、但程序能从一小段词元中检测出来的信号，用来判断一段文本是否出自某个模型。

智能体记忆（agent memory）是智能体系统中负责保存当前上下文窗口之外的信息、以便日后调取的部分。2023 年的 MemGPT 把有限的上下文窗口视为这类设计必须绕开的核心约束。