首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 31 · 清除筛选
人工神经网络人工神经网络是由许多简单相连单元组成的计算系统，其行为由连接权重决定。它的源头是1943年的神经元模型，带学习能力的版本则始于1958年罗森布拉特的感知机。信息论把信息当作可以度量、编码和传输的量来研究的理论，奠基于香农 1948 年的论文；比特、熵与信道容量都是它给出的概念。K 均值聚类K 均值聚类把 n 个观测分成 k 组：反复将每个点归到最近的中心点，再用各组的均值更新中心点。方法简单、能扩展到大数据，但 k 需要事先指定。支持向量机一种监督式的最大间隔模型，用于分类与回归；它用尽可能宽的间隔把不同类别分开，并通过核函数处理非线性数据。交叉验证一种通过重采样和划分数据来估计模型泛化能力的验证方法：把样本切成若干折，轮流留一折作验证、其余作训练，再把多次运行的结果平均。卷积神经网络卷积神经网络让同一组小型图案探测器扫过整张图像，因此无论特征出现在哪里都能被找到。它在1989年用反向传播训练，1998年以LeNet-5的形式成熟，如今已是计算机视觉的标准方法。AdaBoost（自适应提升）AdaBoost（自适应提升）是 Freund 和 Schapire 在 1995 年提出的统计分类元算法：它反复调整训练样本的权重、依次训练多个弱分类器，再把它们的输出加权合成为一个更强的分类器。主题模型主题模型把文档表示为主题的混合，用潜在主题为文本集合提供紧凑的统计描述；2003 年的 Latent Dirichlet Allocation 论文将这一思想形式化为分层贝叶斯模型。联结时序分类（CTC）联结时序分类（CTC）是一种训练循环神经网络为未切分序列（如语音、手写）打标签的方法，不需要逐帧对齐。它于 2006 年提出，用 CTC 训练的 LSTM 因此赢得了循环网络早期的国际竞赛。Xavier / Glorot 初始化Xavier（Glorot）初始化是 Glorot 与 Bengio 在 2010 年提出的权重初始化方法，按层规模设定初始权重尺度，使信号稳定传播，让深层网络收敛更快。知识蒸馏知识蒸馏是把大模型或模型集成的能力迁移到小模型上的方法，在更低的算力和部署成本下保留大部分预测性能。检索增强生成检索增强生成（RAG）让语言模型在回答前先从外部库中取回相关文档并放进提示词，从而用上训练数据之外的知识，也能标出答案的来源。LoRA（低秩适配）LoRA（低秩适配）是一种高效微调方法：冻结预训练模型权重，只训练新加入的低秩矩阵，从而大幅减少可训练参数与显存开销，效果接近全量微调。推测解码（Speculative decoding）推测解码是一种加速大模型文本生成的算法：小模型先提出若干候选词，大模型对这些候选并行检查，在输出完全不变的前提下更快地生成。计算机使用（Computer use）计算机使用（computer use）是 Anthropic 在 2024 年 10 月开放公开测试的一项能力，让模型像人一样看屏幕、移动光标、点击和打字，从而操作原本为人设计的普通软件。监督学习监督学习用成对的标注样本训练模型，让它学会从输入到输出的映射，从而对未见过的数据给出预测。衡量它成败的关键，是模型在训练集之外的泛化能力。损失函数损失函数把预测的代价折算成一个数，训练模型就是让这个数尽量小。选哪种损失函数，也就决定了模型会为什么样的错误付出代价。过拟合过拟合指模型对训练数据拟合得过于贴合，因而在新数据上表现变差。它与欠拟合共同构成偏差—方差权衡的两端，通常通过比较训练与验证表现来发现。正则化正则化是把问题的答案变得更简单的做法：在目标函数中加入惩罚项，使不适定问题可解，或防止模型过拟合。它是机器学习中最基础的技术之一。决策树决策树学习用分类树或回归树作为预测模型，通过反复划分数据把样本分到越来越纯的组里。它给出的是一组可以直接读出来的决策规则，是常用的监督学习方法，但容易受训练数据扰动影响，也容易过拟合。