首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 48 · 清除筛选
自动驾驶自动驾驶是由计算机系统而非人来操作道路车辆。它的六级自动化量表、两条主要技术路线，以及从1980年代起延续至今的一系列研究车辆，构成了今天讨论这一领域的框架。循环神经网络与 LSTM循环神经网络（recurrent neural network，RNN）通过反馈连接，把序列中前一步的信息带到下一步。其变体 LSTM 专门用于在更长跨度中保留记忆。分词（Tokenization）分词（tokenization）把文本切成语言模型真正处理的词元；今天多数系统用字节对编码（BPE）实现，这一 1994 年的压缩算法在 2015 年被引入机器翻译。词向量（词嵌入）词嵌入（word embedding）把每个词表示为一组从文本中学得的数字，用法相近的词得到相近的数字组合。它是现代语言模型的基本组成部分之一。联结时序分类（CTC）联结时序分类（CTC）是一种训练循环神经网络为未切分序列（如语音、手写）打标签的方法，不需要逐帧对齐。它于 2006 年提出，用 CTC 训练的 LSTM 因此赢得了循环网络早期的国际竞赛。Xavier / Glorot 初始化Xavier（Glorot）初始化是 Glorot 与 Bengio 在 2010 年提出的权重初始化方法，按层规模设定初始权重尺度，使信号稳定传播，让深层网络收敛更快。注意力与自注意力注意力机制让神经网络按相关程度为输入各部分分配权重。自注意力（self-attention）将其用于序列内部，是 Transformer 的核心运算。知识蒸馏知识蒸馏是把大模型或模型集成的能力迁移到小模型上的方法，在更低的算力和部署成本下保留大部分预测性能。混合专家（MoE）混合专家（MoE）模型包含许多子网络，却只把每个词元交给其中少数几个处理。这样总参数量可以很大，而每个词元的计算量仍远小于总量。Tensor Core（张量核心）张量核心（Tensor Core）是 NVIDIA GPU 内部的专用单元，一步完成小矩阵的乘加运算，让神经网络训练与推理背后的矩阵算术大幅加速。Transformer 架构Transformer 是2017年提出的神经网络架构，用自注意力取代了循环和卷积结构，今天大多数大语言模型都以它为基础。基于人类反馈的强化学习（RLHF）RLHF 让模型朝人们偏好的方向改进：先由人类比较模型输出，训练出奖励模型（reward model），再用强化学习让主模型在它上面得分更高。这已成为构建聊天助手的标准步骤。预训练与微调预训练（pre-training）用海量无标注文本训练大模型，微调（fine-tuning）用少量标注数据使其适应具体任务。检索增强生成检索增强生成（RAG）让语言模型在回答前先从外部库中取回相关文档并放进提示词，从而用上训练数据之外的知识，也能标出答案的来源。缩放定律缩放定律是一种经验规律：语言模型的测试损失会随参数量、数据量和训练算力增加而按幂律平稳下降。它帮助实验室规划大规模训练，也解释了行业对数据中心和 GPU 的竞相投入。上下文学习上下文学习指大语言模型只凭提示词里的指令和少量示例就能完成新任务，不更新任何权重。GPT-3 论文命名并系统研究了它，把适配任务的方式从微调转向写提示词。LoRA（低秩适配）LoRA（低秩适配）是一种高效微调方法：冻结预训练模型权重，只训练新加入的低秩矩阵，从而大幅减少可训练参数与显存开销，效果接近全量微调。指令微调指令微调是一种监督微调，用来让大语言模型学会听从用户指令；FLAN 论文表明它能显著提升模型在未见任务上的零样本表现。思维链与推理模型思维链是让语言模型在回答前先写出中间推理过程的方法。推理模型在此基础上，用强化学习训练模型在回复前进行较长的内部思考，是近年大语言模型的重要方向。推测解码（Speculative decoding）推测解码是一种加速大模型文本生成的算法：小模型先提出若干候选词，大模型对这些候选并行检查，在输出完全不变的前提下更快地生成。