首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 34 · 清除筛选
信息论把信息当作可以度量、编码和传输的量来研究的理论，奠基于香农 1948 年的论文；比特、熵与信道容量都是它给出的概念。K 均值聚类K 均值聚类把 n 个观测分成 k 组：反复将每个点归到最近的中心点，再用各组的均值更新中心点。方法简单、能扩展到大数据，但 k 需要事先指定。支持向量机一种监督式的最大间隔模型，用于分类与回归；它用尽可能宽的间隔把不同类别分开，并通过核函数处理非线性数据。交叉验证一种通过重采样和划分数据来估计模型泛化能力的验证方法：把样本切成若干折，轮流留一折作验证、其余作训练，再把多次运行的结果平均。AdaBoost（自适应提升）AdaBoost（自适应提升）是 Freund 和 Schapire 在 1995 年提出的统计分类元算法：它反复调整训练样本的权重、依次训练多个弱分类器，再把它们的输出加权合成为一个更强的分类器。主题模型主题模型把文档表示为主题的混合，用潜在主题为文本集合提供紧凑的统计描述；2003 年的 Latent Dirichlet Allocation 论文将这一思想形式化为分层贝叶斯模型。用 GPU 训练深度学习图形处理器（GPU）能同时执行大量算术运算，很适合神经网络训练。2010年前后起，GPU被用于深度学习，使其能够在更大规模上实际运行。混合专家（MoE）混合专家（MoE）模型包含许多子网络，却只把每个词元交给其中少数几个处理。这样总参数量可以很大，而每个词元的计算量仍远小于总量。Tensor Core（张量核心）张量核心（Tensor Core）是 NVIDIA GPU 内部的专用单元，一步完成小矩阵的乘加运算，让神经网络训练与推理背后的矩阵算术大幅加速。模型并行模型并行把单个模型的参数与计算切分到多块加速器上，让一台设备装不下的大模型也能训练。英伟达 2019 年的 Megatron-LM 论文给出了一种层内实现，只需在原生 PyTorch 中插入少量通信操作。检索增强生成检索增强生成（RAG）让语言模型在回答前先从外部库中取回相关文档并放进提示词，从而用上训练数据之外的知识，也能标出答案的来源。缩放定律缩放定律是一种经验规律：语言模型的测试损失会随参数量、数据量和训练算力增加而按幂律平稳下降。它帮助实验室规划大规模训练，也解释了行业对数据中心和 GPU 的竞相投入。内容溯源（C2PA）内容溯源是附在文件里的来源与编辑记录，让别人能核查媒体从哪里来、经过了哪些改动。Adobe、Arm、BBC、Intel、Microsoft 和 Truepic 于 2021 年共同发起 C2PA 来制定这一标准。推测解码（Speculative decoding）推测解码是一种加速大模型文本生成的算法：小模型先提出若干候选词，大模型对这些候选并行检查，在输出完全不变的前提下更快地生成。文本水印（Watermarking）文本水印是在语言模型生成的文字里嵌入一种人看不见、但程序能从一小段词元中检测出来的信号，用来判断一段文本是否出自某个模型。提示注入（Prompt injection）提示注入（prompt injection）指模型输入里的文字压过原本的指令和外围控制，让攻击者劫持整个应用；2023 年的研究进一步指出，恶意内容可以藏在应用自己检索到的资料里。测试时计算（Test-time compute）测试时计算指模型答题时额外投入的算力，而非训练阶段已固化在参数中的算力。Snell 等人 2024 年 8 月的研究表明，按题目难度分配这份算力，能让小模型在同等总计算量下胜过大得多的模型。开源人工智能定义（OSAID）开源人工智能定义（OSAID）是开源促进会于 2024 年 10 月发布的 1.0 版标准，规定一个模型要被称为开源，须公开设计与训练数据信息，并允许使用、修改和在此基础上继续开发。仿真到现实迁移仿真到现实迁移指先在仿真中训练机器人策略，再迁移到真实机器人，用合成数据补充昂贵的人工演示数据。监督学习监督学习用成对的标注样本训练模型，让它学会从输入到输出的映射，从而对未见过的数据给出预测。衡量它成败的关键，是模型在训练集之外的泛化能力。