首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 11 · 清除筛选
分词（Tokenization）分词（tokenization）把文本切成语言模型真正处理的词元；今天多数系统用字节对编码（BPE）实现，这一 1994 年的压缩算法在 2015 年被引入机器翻译。注意力机制注意力机制衡量序列中每个元素相对于其他元素的重要程度并给出权重，使模型能直接读取输入的任意位置。它是 transformer 的核心运算。注意力与自注意力注意力机制让神经网络按相关程度为输入各部分分配权重。自注意力（self-attention）将其用于序列内部，是 Transformer 的核心运算。位置编码序列模型（尤其是 Transformer）的组成部分，把每个词元的位置编码成向量，让本身不分先后的注意力感知顺序；形式从原版 Transformer 的正弦编码一直到 RoPE、ALiBi。Transformer 架构Transformer 是2017年提出的神经网络架构，用自注意力取代了循环和卷积结构，今天大多数大语言模型都以它为基础。推测解码（Speculative decoding）推测解码是一种加速大模型文本生成的算法：小模型先提出若干候选词，大模型对这些候选并行检查，在输出完全不变的前提下更快地生成。上下文窗口（Context window）上下文窗口（context window）是模型生成回答时能够参照的全部文本，以 token 计量，回答本身也计入其中。窗口的大小，以及模型能否均匀地用上窗口内容，共同决定了它实际能做什么。长上下文（Long context）长上下文指模型一次能接收并加以利用的大量输入，如今可达数百万词元；但窗口大不等于用得好，能否在长输入中准确定位信息是另一回事。键值缓存（KV cache）键值缓存把模型为先前 token 算出的键和值保存下来，生成新词时直接复用而不重算。它的显存占用是决定一台服务器能同时服务多少请求的关键。多模态模型（Multimodal models）多模态模型在同一个模型里处理不止一种输入或输出，例如图像和文本。CLIP 与 Flamingo 这两项工作展示了这类模型怎样训练出来，又怎样靠文字提示迁移到新任务。机制可解释性（Mechanistic interpretability）机制可解释性通过寻找产生行为的内部计算与特征来解释模型，而不是只从外部测试输入输出。关于叠加与稀疏自编码器的研究，展示了少量神经元如何容纳大量特征。