首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 16 · 清除筛选
自动驾驶自动驾驶是由计算机系统而非人来操作道路车辆。它的六级自动化量表、两条主要技术路线，以及从1980年代起延续至今的一系列研究车辆，构成了今天讨论这一领域的框架。用 GPU 训练深度学习图形处理器（GPU）能同时执行大量算术运算，很适合神经网络训练。2010年前后起，GPU被用于深度学习，使其能够在更大规模上实际运行。混合专家（MoE）混合专家（MoE）模型包含许多子网络，却只把每个词元交给其中少数几个处理。这样总参数量可以很大，而每个词元的计算量仍远小于总量。Tensor Core（张量核心）张量核心（Tensor Core）是 NVIDIA GPU 内部的专用单元，一步完成小矩阵的乘加运算，让神经网络训练与推理背后的矩阵算术大幅加速。模型并行模型并行把单个模型的参数与计算切分到多块加速器上，让一台设备装不下的大模型也能训练。英伟达 2019 年的 Megatron-LM 论文给出了一种层内实现，只需在原生 PyTorch 中插入少量通信操作。缩放定律缩放定律是一种经验规律：语言模型的测试损失会随参数量、数据量和训练算力增加而按幂律平稳下降。它帮助实验室规划大规模训练，也解释了行业对数据中心和 GPU 的竞相投入。推测解码（Speculative decoding）推测解码是一种加速大模型文本生成的算法：小模型先提出若干候选词，大模型对这些候选并行检查，在输出完全不变的前提下更快地生成。测试时计算（Test-time compute）测试时计算指模型答题时额外投入的算力，而非训练阶段已固化在参数中的算力。Snell 等人 2024 年 8 月的研究表明，按题目难度分配这份算力，能让小模型在同等总计算量下胜过大得多的模型。仿真到现实迁移仿真到现实迁移指先在仿真中训练机器人策略，再迁移到真实机器人，用合成数据补充昂贵的人工演示数据。多智能体系统多智能体系统由多个相互作用的智能体组成，能解决单个智能体难以完成的问题。近年以大型语言模型为内核的框架，让智能体之间直接对话协作，使这一方向重新受到关注。世界模型世界模型是学习环境内部表示、并预测环境随动作如何变化的机器学习系统。在强化学习中，它相当于从经验中学出的模拟器，让智能体不必在真实环境里反复试错就能规划行动。量化（Quantization）量化把语言模型的权重和激活值用更低的数值精度存储，从而降低推理所需的内存和带宽。LLM.int8() 与 GPTQ 等方法让超大规模模型能够跑在远小的硬件上。键值缓存（KV cache）键值缓存把模型为先前 token 算出的键和值保存下来，生成新词时直接复用而不重算。它的显存占用是决定一台服务器能同时服务多少请求的关键。合成数据（Synthetic data）合成数据是由模型生成、而非从人或从网上收集的训练材料。phi-1 的实验显示，混入模型生成的「教科书」后，一个小规模代码模型也能在代码基准上取得不错的成绩，说明数据质量本身影响能力。具身智能（Embodied AI）具身智能（Embodied AI）指通过与环境的互动来学习的智能体，而不只依赖从互联网上收集的图像、视频或文本数据集；模拟器则是训练和评测这类智能体的虚拟试验台。视觉里程计视觉里程计让巡视器通过跟踪行驶前后相机图像中的地形特征，测出自己实际移动了多远，而不是只靠数车轮转数。NASA 的火星探测车首次实际演示了这项技术。