首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 93
规划（Planning）规划（planning）是 AI 智能体（agent）把目标拆成中间步骤、决定下一步行动，并根据结果调整方案的过程，而不是一次给出答案。[^1][^2]智能体记忆（Agent memory）智能体记忆（agent memory）是智能体系统中负责保存当前上下文窗口之外的信息、以便日后调取的部分。2023 年的 MemGPT 把有限的上下文窗口视为这类设计必须绕开的核心约束。具身智能（Embodied AI）具身智能（Embodied AI）指通过与环境的互动来学习的智能体，而不只依赖从互联网上收集的图像、视频或文本数据集；模拟器则是训练和评测这类智能体的虚拟试验台。幻觉（Hallucination）幻觉（hallucination）指模型把虚假或误导性的信息当作事实陈述出来。它是生成式人工智能最典型的失效方式之一，也是人们难以直接信任模型输出的主要原因。基准污染（Benchmark contamination）基准污染（benchmark contamination）指模型被评测的题目或与之接近的变体本来就出现在它的预训练数据里，于是分数部分反映的是对已见文本的记忆，而不是基准想测的能力。红队测试（Red teaming）红队测试（red teaming）指在模型部署前主动试探它，看它会不会做出有害或不被期望的行为。2022 年 Perez 等人提出用一个语言模型为另一个语言模型自动生成测试用例的方法，把这件事部分自动化了。对齐（AI alignment）对齐指让模型的行为符合用户和设计者的真实意图，而不只是训练目标字面上奖励的东西；用人类偏好比较来训练模型，是目前一条实用路线。机制可解释性（Mechanistic interpretability）机制可解释性通过寻找产生行为的内部计算与特征来解释模型，而不是只从外部测试输入输出。关于叠加与稀疏自编码器的研究，展示了少量神经元如何容纳大量特征。奖励黑客（Reward hacking）奖励黑客指优化一个不完美的代理奖励函数，结果在真正的奖励函数下表现反而变差。它是目标写偏、而非优化器出错时的典型失效模式。越狱（Jailbreak）越狱（jailbreak）是用对抗性提示让经过安全训练的模型做出其训练本应阻止的行为。Wei 等人在 2023 年 7 月的一篇分析中，把这类失败归因于目标冲突与泛化不匹配两种失效模式。通用人工智能（AGI）通用人工智能（AGI）指在广泛任务上达到或超过人类水平的人工智能。这个词没有公认定义；Morris 等人提出的框架按性能等级与通用性给系统分级。语义网语义网是 W3C 推动的一套标准与技术，用 RDF 和 OWL 描述数据，让不同应用、企业和社区能够共享和复用信息，并推动相关技术走向实用工具。视觉里程计视觉里程计让巡视器通过跟踪行驶前后相机图像中的地形特征，测出自己实际移动了多远，而不是只靠数车轮转数。NASA 的火星探测车首次实际演示了这项技术。