首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 32 · 清除筛选
人工神经网络人工神经网络是由许多简单相连单元组成的计算系统，其行为由连接权重决定。它的源头是1943年的神经元模型，带学习能力的版本则始于1958年罗森布拉特的感知机。玻尔兹曼机玻尔兹曼机是一种用全局能量给每种网络配置打分、并用随机学习算法训练的神经网络。它由杰弗里·辛顿与特里·塞诺夫斯基提出，把能量模型带进了认知科学与机器学习。卷积神经网络卷积神经网络让同一组小型图案探测器扫过整张图像，因此无论特征出现在哪里都能被找到。它在1989年用反向传播训练，1998年以LeNet-5的形式成熟，如今已是计算机视觉的标准方法。分词（Tokenization）分词（tokenization）把文本切成语言模型真正处理的词元；今天多数系统用字节对编码（BPE）实现，这一 1994 年的压缩算法在 2015 年被引入机器翻译。主题模型主题模型把文档表示为主题的混合，用潜在主题为文本集合提供紧凑的统计描述；2003 年的 Latent Dirichlet Allocation 论文将这一思想形式化为分层贝叶斯模型。深度神经网络声学建模深度神经网络声学建模用多层网络把语音映射为音素等单元。2010 年 NIPS 论文用深度信念网络与均值-协方差 RBM 提取语音特征，在 TIMIT 上取得 20.5% 音素错误率。变分自编码器变分自编码器是一种生成模型：编码器把输入映射为隐空间上的分布，解码器从采样结果重建输入，训练时最大化数据似然的下界。生成对抗网络生成对抗网络让一个生成器和一个判别器在零和博弈中相互竞争，生成器因此学会模仿训练数据的分布；2014 年由 Ian Goodfellow 等人提出，此后衍生出一系列图像生成架构。注意力机制注意力机制衡量序列中每个元素相对于其他元素的重要程度并给出权重，使模型能直接读取输入的任意位置。它是 transformer 的核心运算。注意力与自注意力注意力机制让神经网络按相关程度为输入各部分分配权重。自注意力（self-attention）将其用于序列内部，是 Transformer 的核心运算。位置编码序列模型（尤其是 Transformer）的组成部分，把每个词元的位置编码成向量，让本身不分先后的注意力感知顺序；形式从原版 Transformer 的正弦编码一直到 RoPE、ALiBi。深度伪造深度伪造（deepfake）指用人工智能生成或修改的图像、视频和音频，属于合成媒体。「深度伪造」由「深度学习」与「假」组合而成，2017 年末出现后成为这类内容的通称。Transformer 架构Transformer 是2017年提出的神经网络架构，用自注意力取代了循环和卷积结构，今天大多数大语言模型都以它为基础。扩散模型扩散模型（diffusion models）学习逆转逐步加噪的过程，从噪声出发逐步去噪以生成图像。潜在扩散（latent diffusion）是 Stable Diffusion 的基础。内容溯源（C2PA）内容溯源是附在文件里的来源与编辑记录，让别人能核查媒体从哪里来、经过了哪些改动。Adobe、Arm、BBC、Intel、Microsoft 和 Truepic 于 2021 年共同发起 C2PA 来制定这一标准。推测解码（Speculative decoding）推测解码是一种加速大模型文本生成的算法：小模型先提出若干候选词，大模型对这些候选并行检查，在输出完全不变的前提下更快地生成。文本水印（Watermarking）文本水印是在语言模型生成的文字里嵌入一种人看不见、但程序能从一小段词元中检测出来的信号，用来判断一段文本是否出自某个模型。提示注入（Prompt injection）提示注入（prompt injection）指模型输入里的文字压过原本的指令和外围控制，让攻击者劫持整个应用；2023 年的研究进一步指出，恶意内容可以藏在应用自己检索到的资料里。计算机使用（Computer use）计算机使用（computer use）是 Anthropic 在 2024 年 10 月开放公开测试的一项能力，让模型像人一样看屏幕、移动光标、点击和打字，从而操作原本为人设计的普通软件。开源人工智能定义（OSAID）开源人工智能定义（OSAID）是开源促进会于 2024 年 10 月发布的 1.0 版标准，规定一个模型要被称为开源，须公开设计与训练数据信息，并允许使用、修改和在此基础上继续开发。