首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 21 · 清除筛选
信息论把信息当作可以度量、编码和传输的量来研究的理论，奠基于香农 1948 年的论文；比特、熵与信道容量都是它给出的概念。图灵测试图灵测试是艾伦·图灵（Alan Turing）在1950年提出的一种替代方案：用一场游戏取代「机器能思考吗」这个问题——如果提问者分辨不出机器的书面回答与人的回答，机器就算通过。AI 寒冬AI 寒冬指人工智能研究经费与关注度大幅收缩的时期；该领域经历过多轮炒作与失望的循环，其中两次大收缩通常被定在 1974 至 1980 年和 1987 至 2000 年。Hopfield 网络John Hopfield 于 1982 年提出的循环神经网络，把模式存为能量函数的极小值，能从残缺或失真的输入回忆出完整模式，并让统计物理成为研究神经网络的常用工具。玻尔兹曼机玻尔兹曼机是一种用全局能量给每种网络配置打分、并用随机学习算法训练的神经网络。它由杰弗里·辛顿与特里·塞诺夫斯基提出，把能量模型带进了认知科学与机器学习。模仿学习模仿学习通过从专家示范中做监督学习来训练智能体完成任务，而不是靠反复试错。最基本的形式是行为克隆，最主要的弱点是分布偏移。主题模型主题模型把文档表示为主题的混合，用潜在主题为文本集合提供紧凑的统计描述；2003 年的 Latent Dirichlet Allocation 论文将这一思想形式化为分层贝叶斯模型。联结时序分类（CTC）联结时序分类（CTC）是一种训练循环神经网络为未切分序列（如语音、手写）打标签的方法，不需要逐帧对齐。它于 2006 年提出，用 CTC 训练的 LSTM 因此赢得了循环网络早期的国际竞赛。图神经网络图神经网络是为图结构数据设计的一类神经网络，节点之间通过传递消息更新各自的表示。自2009年这一模型被正式提出以来，它已成为图上学习的常用方法。深度神经网络声学建模深度神经网络声学建模用多层网络把语音映射为音素等单元。2010 年 NIPS 论文用深度信念网络与均值-协方差 RBM 提取语音特征，在 TIMIT 上取得 20.5% 音素错误率。用 GPU 训练深度学习图形处理器（GPU）能同时执行大量算术运算，很适合神经网络训练。2010年前后起，GPU被用于深度学习，使其能够在更大规模上实际运行。Xavier / Glorot 初始化Xavier（Glorot）初始化是 Glorot 与 Bengio 在 2010 年提出的权重初始化方法，按层规模设定初始权重尺度，使信号稳定传播，让深层网络收敛更快。混合专家（MoE）混合专家（MoE）模型包含许多子网络，却只把每个词元交给其中少数几个处理。这样总参数量可以很大，而每个词元的计算量仍远小于总量。Tensor Core（张量核心）张量核心（Tensor Core）是 NVIDIA GPU 内部的专用单元，一步完成小矩阵的乘加运算，让神经网络训练与推理背后的矩阵算术大幅加速。模型并行模型并行把单个模型的参数与计算切分到多块加速器上，让一台设备装不下的大模型也能训练。英伟达 2019 年的 Megatron-LM 论文给出了一种层内实现，只需在原生 PyTorch 中插入少量通信操作。缩放定律缩放定律是一种经验规律：语言模型的测试损失会随参数量、数据量和训练算力增加而按幂律平稳下降。它帮助实验室规划大规模训练，也解释了行业对数据中心和 GPU 的竞相投入。推测解码（Speculative decoding）推测解码是一种加速大模型文本生成的算法：小模型先提出若干候选词，大模型对这些候选并行检查，在输出完全不变的前提下更快地生成。仿真到现实迁移仿真到现实迁移指先在仿真中训练机器人策略，再迁移到真实机器人，用合成数据补充昂贵的人工演示数据。强化学习强化学习是机器学习与最优控制的一个分支：智能体在动态环境中通过试错，学习怎样的动作能让奖励信号最大化。量化（Quantization）量化把语言模型的权重和激活值用更低的数值精度存储，从而降低推理所需的内存和带宽。LLM.int8() 与 GPTQ 等方法让超大规模模型能够跑在远小的硬件上。