首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 31 · 清除筛选
反向传播与梯度下降反向传播（backpropagation）是多层神经网络的学习方法：把输出误差逐层传回，再用梯度下降调整权重。1986年一篇《Nature》论文使其广为人知，至今仍是标准训练方法。分词（Tokenization）分词（tokenization）把文本切成语言模型真正处理的词元；今天多数系统用字节对编码（BPE）实现，这一 1994 年的压缩算法在 2015 年被引入机器翻译。Dropout（随机失活）一种正则化方法：训练时随机把部分神经元的输入或输出置零，阻止神经元之间形成对训练数据的复杂共适应，从而减轻过拟合。批归一化批归一化把每一层的输入在小批量上重新中心化到零、缩放到单位方差，使深度网络的训练更快、更稳定。残差连接残差连接把一个模块的输入直接加到它的输出上，让模块只学需要改变的那一部分。它使很深的网络可以训练，也是今天 Transformer 的标准组件。知识蒸馏知识蒸馏是把大模型或模型集成的能力迁移到小模型上的方法，在更低的算力和部署成本下保留大部分预测性能。位置编码序列模型（尤其是 Transformer）的组成部分，把每个词元的位置编码成向量，让本身不分先后的注意力感知顺序；形式从原版 Transformer 的正弦编码一直到 RoPE、ALiBi。Transformer 架构Transformer 是2017年提出的神经网络架构，用自注意力取代了循环和卷积结构，今天大多数大语言模型都以它为基础。预训练与微调预训练（pre-training）用海量无标注文本训练大模型，微调（fine-tuning）用少量标注数据使其适应具体任务。模型并行模型并行把单个模型的参数与计算切分到多块加速器上，让一台设备装不下的大模型也能训练。英伟达 2019 年的 Megatron-LM 论文给出了一种层内实现，只需在原生 PyTorch 中插入少量通信操作。缩放定律缩放定律是一种经验规律：语言模型的测试损失会随参数量、数据量和训练算力增加而按幂律平稳下降。它帮助实验室规划大规模训练，也解释了行业对数据中心和 GPU 的竞相投入。上下文学习上下文学习指大语言模型只凭提示词里的指令和少量示例就能完成新任务，不更新任何权重。GPT-3 论文命名并系统研究了它，把适配任务的方式从微调转向写提示词。状态空间模型（Mamba）状态空间模型把序列表示成一个随输入逐步演化的隐藏状态。S4 在 2021 年把它带入深度学习，Mamba 让参数随输入变化，从而在长序列上以线性时间建模。指令微调指令微调是一种监督微调，用来让大语言模型学会听从用户指令；FLAN 论文表明它能显著提升模型在未见任务上的零样本表现。宪法式 AI（Constitutional AI）宪法式 AI（Constitutional AI）是 Anthropic 在 2022 年提出的训练方法：用一套书面写明的原则（即「宪法」）塑造模型行为，而不是依赖人工标注有害输出。直接偏好优化直接偏好优化（DPO）是一种用人类偏好数据微调语言模型的方法，训练目标接近监督学习，省去了单独训练奖励模型和强化学习循环的步骤。测试时计算（Test-time compute）测试时计算指模型答题时额外投入的算力，而非训练阶段已固化在参数中的算力。Snell 等人 2024 年 8 月的研究表明，按题目难度分配这份算力，能让小模型在同等总计算量下胜过大得多的模型。视觉-语言-动作模型 VLA视觉-语言-动作模型（VLA）是一种机器人策略：输入摄像头图像和一句语言指令，直接输出动作，通常由预训练的视觉-语言模型改造而来。激活函数激活函数把节点的输入与权重映射为输出，为神经网络提供非线性。sigmoid、tanh、ReLU 塑造了早期深度学习，GELU 如今是 transformer 的主流选择。AI 智能体AI 智能体指能感知环境、为达成目标自主行动的系统，范围从恒温器这样的简单装置一直到由大模型自行决定流程与工具调用的软件。