首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 23 · 清除筛选
玻尔兹曼机玻尔兹曼机是一种用全局能量给每种网络配置打分、并用随机学习算法训练的神经网络。它由杰弗里·辛顿与特里·塞诺夫斯基提出，把能量模型带进了认知科学与机器学习。主题模型主题模型把文档表示为主题的混合，用潜在主题为文本集合提供紧凑的统计描述；2003 年的 Latent Dirichlet Allocation 论文将这一思想形式化为分层贝叶斯模型。联结时序分类（CTC）联结时序分类（CTC）是一种训练循环神经网络为未切分序列（如语音、手写）打标签的方法，不需要逐帧对齐。它于 2006 年提出，用 CTC 训练的 LSTM 因此赢得了循环网络早期的国际竞赛。深度神经网络声学建模深度神经网络声学建模用多层网络把语音映射为音素等单元。2010 年 NIPS 论文用深度信念网络与均值-协方差 RBM 提取语音特征，在 TIMIT 上取得 20.5% 音素错误率。Xavier / Glorot 初始化Xavier（Glorot）初始化是 Glorot 与 Bengio 在 2010 年提出的权重初始化方法，按层规模设定初始权重尺度，使信号稳定传播，让深层网络收敛更快。变分自编码器变分自编码器是一种生成模型：编码器把输入映射为隐空间上的分布，解码器从采样结果重建输入，训练时最大化数据似然的下界。生成对抗网络生成对抗网络让一个生成器和一个判别器在零和博弈中相互竞争，生成器因此学会模仿训练数据的分布；2014 年由 Ian Goodfellow 等人提出，此后衍生出一系列图像生成架构。知识蒸馏知识蒸馏是把大模型或模型集成的能力迁移到小模型上的方法，在更低的算力和部署成本下保留大部分预测性能。深度伪造深度伪造（deepfake）指用人工智能生成或修改的图像、视频和音频，属于合成媒体。「深度伪造」由「深度学习」与「假」组合而成，2017 年末出现后成为这类内容的通称。扩散模型扩散模型（diffusion models）学习逆转逐步加噪的过程，从噪声出发逐步去噪以生成图像。潜在扩散（latent diffusion）是 Stable Diffusion 的基础。LoRA（低秩适配）LoRA（低秩适配）是一种高效微调方法：冻结预训练模型权重，只训练新加入的低秩矩阵，从而大幅减少可训练参数与显存开销，效果接近全量微调。推测解码（Speculative decoding）推测解码是一种加速大模型文本生成的算法：小模型先提出若干候选词，大模型对这些候选并行检查，在输出完全不变的前提下更快地生成。文本水印（Watermarking）文本水印是在语言模型生成的文字里嵌入一种人看不见、但程序能从一小段词元中检测出来的信号，用来判断一段文本是否出自某个模型。测试时计算（Test-time compute）测试时计算指模型答题时额外投入的算力，而非训练阶段已固化在参数中的算力。Snell 等人 2024 年 8 月的研究表明，按题目难度分配这份算力，能让小模型在同等总计算量下胜过大得多的模型。计算机使用（Computer use）计算机使用（computer use）是 Anthropic 在 2024 年 10 月开放公开测试的一项能力，让模型像人一样看屏幕、移动光标、点击和打字，从而操作原本为人设计的普通软件。无监督学习无监督学习让算法在没有标签的数据上自行找出结构，如聚类、降维与生成建模。从伊辛模型、玻尔兹曼机到变分自编码器，它是聚类工具与神经生成模型背后的框架。特征工程特征工程是机器学习和统计建模中的预处理环节，把原始数据加工成模型更好用的输入，包括构造、筛选、变换特征以及处理缺失值和降维。上下文窗口（Context window）上下文窗口（context window）是模型生成回答时能够参照的全部文本，以 token 计量，回答本身也计入其中。窗口的大小，以及模型能否均匀地用上窗口内容，共同决定了它实际能做什么。键值缓存（KV cache）键值缓存把模型为先前 token 算出的键和值保存下来，生成新词时直接复用而不重算。它的显存占用是决定一台服务器能同时服务多少请求的关键。提示工程（Prompt engineering）提示工程是设计输入文本、引导生成式人工智能产出目标结果的实践。统一的术语和思维链提示等技术，让提示方法更容易描述、比较和复现。